Dimensionalidade e escala de proficiência em uma prova interdisciplinar

Autores

DOI:

https://doi.org/10.18222/eae.v30i74.5324

Palavras-chave:

Teoria da Resposta ao Item, Escala de Avaliação, Análise Fatorial, Vestibular.

Resumo

O artigo apresenta uma análise da dimensionalidade da prova de conhecimentos gerais do vestibular da Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp) e consolida a construção de uma escala em uma prova que inclui itens associados às diferentes disciplinas integrantes do currículo do ensino médio no Estado de São Paulo. Embora a prova seja interdisciplinar, esse estudo mostra a viabilidade de se adotar uma medida unidimensional pela teoria da resposta ao item. Além disso, por meio de uma análise fatorial de informação completa, foi possível identificar quais habilidades e competências a prova está medindo. Os fatores que mais se destacaram foram o raciocínio lógico, a proficiência em Língua Inglesa e o conhecimento em Humanidades.

Downloads

Não há dados estatísticos.

Biografia do Autor

Ligia Maria Vettorato Trevisan, Fundação para o Vestibular da Universidade Estadual Paulista (Vunesp), São Paulo-SP, Brasil

Possui graduação em Licenciatura em Química pela Faculdade de Filosofia, Ciências e Letras de Araraquara (1967), Mestrado em Ciências de Alimentos pela UNICAMP (1972) e Doutorado em Química pela Universidade de São Paulo (1982). É Professora Livre docente em Química Orgânica (1994) pelo Instituto de Química da Universidade Estadual Paulista Júlio de Mesquita Filho, Campus de Araraquara, onde atuou de 1972 até 1994, em regime de dedicação exclusiva junto ao Departamento de Química Orgânica. Atualmente é assessora da Fundação VUNESP.

Pedro Alberto Barbetta, Universidade Federal de Santa Catarina (UFSC), Florianópolis-SC, Brasil

Professor titular da Universidade Federal de Santa Catarina (UFSC), Depto de Informática e Estatística. Pesquisador-bolsista da VUNESP. Graduação em Estatística pela Escola Nacional de Ciências Estatísticas (1980), mestrado em Matemática Aplicada (Estatística) pelo Instituto Nacional de Matemática Pura e Aplicada (1984) e doutorado em Engenharia de Produção pela UFSC (1998). Professor efetivo do Mestrado Profissional de Métodos e Gestão em Avaliação. Pesquisador Bolsista da Fundação VUNESP.

Dalton Francisco de Andrade, Universidade Federal de Santa Catarina (UFSC), Florianópolis-SC, Brasil

Possui graduação em Licenciatura em Matemática pela Universidade de São Paulo (1973), Mestrado em Estatística pela Universidade de São Paulo (1977) e PhD em Biostatistics pela University of North Carolina at Chapel Hill, USA (1984). Atualmente é professor titular da UFSC, com atuação em programas de pós-graduação dos Departamentos de Engenharia de Produção (PPGEP) e de Informática e Estatística (PPGMGA), Pesquisador Associado da Fundação Vunesp e Consultor do Inep/Mec.

Guaracy Tadeu Rocha, Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp), Botucatu-SP, Brasil

Possui graduação em Licenciatura e em Bacharelado em Ciências Biológicas pelo Instituto Básico de Biologia Médica e Agrícola da UNESP (1983), Mestrado e Doutorado em Ciências Biológicas AC Genética (1993), pelo Instituto de Biociências da UNESP, Botucatu. É Professor em Genética e Evolução pelo Instituto de Biociências da Universidade Estadual Paulista Júlio de Mesquita Filho, Câmpus de Botucatu, onde atua desde 1988, em regime de dedicação exclusiva junto ao Departamento de Genética.

Tânia Cristina Arantes de Macedo Azevedo, Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp), Guaratinguetá-SP, Brasil

Possui graduação em Bacharelado em Física pela Universidade de São Paulo (1979), mestrado em Tecnologia Nuclear pelo Instituto de Pesquisa Energéticas e Nucleares (1982) e doutorado em Física pela Universidade de São Paulo (1989). Atualmente é consultora do Conselho Estadual de Educação do Estado de São Paulo e avaliadora institucional e de curso de graduação do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Professor assistente doutor da Universidade Estadual Paulista Júlio de Mesquita Filho desde 1982, lotada no Departamento de Física e Química da Faculdade de Engenharia de Guaratinguetá. Consultora do Conselho Estadual de Educação do Estado de São Paulo.

Referências

AMERICAN EDUCATIONAL RESEARCH ASSOCIATION; AMERICAN PSYCHOLOGICAL ASSOCIATION; NATIONAL COUNCIL ON MEASUREMENT IN EDUCATION. Standards for educational and psychological testing. Washington, DC: American Educational Research Association, 2014.

ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. Teoria da resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.

BARBETTA, P. A.; TREVISAN, L. M. V.; TAVARES, H. R.; AZEVEDO, T. C. A. M. Aplicação da teoria da resposta ao item uni e multidimensional na análise da prova de conhecimentos gerais do vestibular da Unesp. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 57, p. 280-302, jan./abr. 2014. DOI: https://doi.org/10.18222/eae255720142832

BEATON, A. E.; ALLEN, N. L. Interpreting scales through scale anchoring. Journal of Educational Statistics, Washington, v. 17, n. 2, p. 191-204, June 1992. DOI: https://doi.org/10.3102/10769986017002191

BRASIL. Ministério da Educação. Parâmetros curriculares nacionais para o ensino médio. Brasília, 2000. Disponível em: portal.mec.gov.br/expansao-da-rede-federal/195-secretarias-112877938/sebeducacao-basica-2007048997/12598-publicacoes-sp-265002211. Acesso em: 7 dez. 2018.

BRASIL. Ministério da Educação. Diretrizes curriculares nacionais para educação básica. Brasília, 2013. Disponível em: http://portal.mec.gov.br/docman/julho-2013-pdf/13677-diretrizes-educacao-basica2013-pdf/file. Acesso em: 7 dez. 2018.

BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Matrizes e escalas. Brasília, 2015. Disponível em: http://provabrasil.inep.gov.br/escalas-de-proficiencia. Acesso em: 26 set. 2018.

CAI, L.; HANSEN, M. Limited-information goodness-of-fit testing of hierarchical item factor models. British Journal of Mathematical and Statistical Psychology, Leicester, UK, v. 66, n. 2, p. 245-276, May 2013. DOI: https://doi.org/10.1111/j.2044-8317.2012.02050.x

CHALMERS, P. Mirt: a multidimensional item response theory package for the R Environment. Journal of Statistical Software, Innsbruck, Austria, v. 48, n. 6, p. 1-29, May 2012. Disponível em: DOI: https://doi.org/10.18637/jss.v048.i06

www.jstatsoft.org/v48/i06/. Acesso em: jun. 2015.

CHALMERS, P. Package mirt: multidimensional item response theory. Version 1.25. 2017. Disponível em: http://cran.r-project.org/web/packages/mirt/mirt.pdf. Acesso em: set. 2017.

CHEN, W. H.; THISSEN, D. Local dependence indexes for item pairs using item response theory. Journal of Educational and Behavioral Statistics, Washington, v. 22, n. 3, p. 265-289, Sept. 1997. DOI: https://doi.org/10.3102/10769986022003265

COELHO, E. C. Teoria da resposta ao item: desafios e perspectivas em exame multidisciplinar. 2014. 189 f. Tese (Doutorado em Métodos Numéricos em Engenharia) – Universidade Federal do Paraná, Curitiba, 2014.

KOLEN, M. J.; BRENNAN, R. L. Test equating, scaling, and linking: methods and practices. New York: Springer, 2004. DOI: https://doi.org/10.1007/978-1-4757-4310-4

GARRIDO, L. E.; ABAD, J. A.; PONSODA, V. A new look at horn’s parallel analysis with ordinal variables. Psychological Methods, Washington, v. 18, n. 4, p. 454-474, Oct. 2013. DOI: https://doi.org/10.1037/a0030005

GOMES, D. E. Avaliação pedagógica para uma escala única do Enem. 2018. Dissertação (Mestrado em Métodos e Gestão em Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2018.

OLSSON, U.; DRASGOW, F. E.; DORANS, N. The polyserial correlation coefficient. Psychometrika, Switzerland, v. 47, n. 3, p. 337-347, Sept. 1982. DOI: https://doi.org/10.1007/BF02294164

PASQUALI, L. Psicometria: teoria dos testes na psicologia e na educação. Petrópolis: Vozes, 2003.

QUARESMA, E. S. Modelagem para construção de escalas avaliativas e classificatórias em exames seletivos utilizando teoria da resposta ao item uni e multidimensional. 2014. 187 f. Tese (Doutorado em Ciências) – Escola Superior de Agricultura “Luiz de Queiroz” (Esalq), Universidade de São Paulo, Piracicaba, 2014.

R CORE TEAM. R: A language and environment for statistical computing. Vienna, Austria: R Foundation for Statistical Computing, 2017. Disponível em: www.r-project.org. Acesso em: set. 2017.

RECKASE, M. Multidimensional item response theory. New York: Springer, 2009. DOI: https://doi.org/10.1007/978-0-387-89976-3

REVELLE, W. An introduction to psychometric theory with applications in R. FreeTextbookList.com. 2017a. Disponível em: http://personality-project.org/r/book/. Acesso em: 8 set. 2017.

REVELLE, W. Psych: procedures for psychological, psychometric, and personality Research. R package version 1.7.5. 2017b. Disponível em: https://CRAN.R-project.org/package=psych. Acesso em: 8 set. 2017.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Ciências da Natureza e suas tecnologias. Ensino Fundamental – Ciclo II e Ensino Médio. São Paulo, 2011a. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/documentos/235.pdf. Acesso em: 30 nov. 2018.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Ciências Humanas e suas tecnologias. Ensino Fundamental – Ciclo II e Ensino Médio. São Paulo, 2011b. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/documentos/236.pdf. Acesso em: 30 nov. 2018.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Linguagens, códigos e suas tecnologias. Ensino Fundamental – Ciclo II e Ensino Médio. São Paulo, 2011c. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/documentos/237.pdf. Acesso em: 30 nov. 2018.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Matemática e suas tecnologias. São Paulo, 2011d. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/ documentos/238.pdf. Acesso em: 30 nov. 2018.

SCHILLING, S. G. The role of psychometric modeling in test validation: an application of multidimensional item response theory. Measurement: Interdisciplinary Research & Perspective, Philadelphia, USA, v. 5, n. 2, p. 93-106, Aug. 2009. DOI: https://doi.org/10.1080/15366360701487021

THIMOTY, A. B. Confirmatory factor analysis for applied research. 2. ed. New York: The Guilford Press, 2015.

VAN DER LINDEN, W. J. Handbook of item response theory. Volume one: models. New York: CRC Press, 2016. DOI: https://doi.org/10.1201/9781315374512

VIEIRA, N. A. As provas das quatro áreas do Enem vista como prova única na óptica de modelos da teoria da resposta ao item uni e multidimensionais. 2016. Dissertação (Mestrado em Métodos e Gestão em Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2016. Disponível em: https:// pergamum.ufsc.br/pergamum/biblioteca/index.php. Acesso em: 23 jul. 2017.

WEAKLIEM, D. L. A critique of the bayesian information criterion for model selection. Sociological Methods & Research, London, v. 27, n. 3, p. 359-97, Feb. 1999. DOI: https://doi.org/10.1177/0049124199027003002

Downloads

Publicado

02-10-2019

Como Citar

Trevisan, L. M. V., Barbetta, P. A., Andrade, D. F. de, Rocha, G. T., & Azevedo, T. C. A. de M. (2019). Dimensionalidade e escala de proficiência em uma prova interdisciplinar. Estudos Em Avaliação Educacional, 30(74), 392–419. https://doi.org/10.18222/eae.v30i74.5324

Edição

v. 30 n. 74 (2019): maio/ago. 2019

Seção

Artigos

Licença

Copyright (c) 2019 Ligia Maria Vettorato Trevisan, Pedro Alberto Barbetta, Dalton Francisco de Andrade, Guaracy Tadeu Rocha, Tânia Cristina Arantes de Macedo Azevedo

Creative Commons License

Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial 4.0 International License.

 

a. Autores mantêm os direitos autorais e concedem à revista o direito de primeira publicação.

b. Todos os trabalhos estão licenciados sob a Licença Creative Commons Attribution (CC BY 4.0), que permite o compartilhamento do trabalho com reconhecimento da autoria.