Dimensionalidad y escala de conocimiento en uma prueba interdisciplinaria

Autores/as

DOI:

https://doi.org/10.18222/eae.v30i74.5324

Palabras clave:

Teoría de la Respuesta al Ítem, Escala de Evaluación, Análisis Factorial, Examen de Ingreso a la Universidad.

Resumen

En este trabajo se presenta un análisis de la dimensionalidad de la prueba de conocimientos generales del examen de ingreso a la Universidad Estadual Paulista “Júlio de Mesquita Filho” (Unesp) y se consolida la construcción de una escala en un test que incluye ítems asociados a las diferentes disciplinas que forman parte del currículo de la educación secundaria en el estado de São Paulo. Aunque la prueba es interdisciplinaria, este estudio demuestra la viabilidad de adoptar una medida unidimensional por la Teoría de Respuesta al Ítem. Además, por medio de un análisis factorial de información completa fue posible conocer las habilidades y competencias que la prueba mide. Los factores que más se destacaron fueron el razonamiento lógico, el dominio del idioma inglés y el conocimiento de Humanidades.

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

Ligia Maria Vettorato Trevisan, Fundação para o Vestibular da Universidade Estadual Paulista (Vunesp), São Paulo-SP, Brasil

Possui graduação em Licenciatura em Química pela Faculdade de Filosofia, Ciências e Letras de Araraquara (1967), Mestrado em Ciências de Alimentos pela UNICAMP (1972) e Doutorado em Química pela Universidade de São Paulo (1982). É Professora Livre docente em Química Orgânica (1994) pelo Instituto de Química da Universidade Estadual Paulista Júlio de Mesquita Filho, Campus de Araraquara, onde atuou de 1972 até 1994, em regime de dedicação exclusiva junto ao Departamento de Química Orgânica. Atualmente é assessora da Fundação VUNESP.

Pedro Alberto Barbetta, Universidade Federal de Santa Catarina (UFSC), Florianópolis-SC, Brasil

Professor titular da Universidade Federal de Santa Catarina (UFSC), Depto de Informática e Estatística. Pesquisador-bolsista da VUNESP. Graduação em Estatística pela Escola Nacional de Ciências Estatísticas (1980), mestrado em Matemática Aplicada (Estatística) pelo Instituto Nacional de Matemática Pura e Aplicada (1984) e doutorado em Engenharia de Produção pela UFSC (1998). Professor efetivo do Mestrado Profissional de Métodos e Gestão em Avaliação. Pesquisador Bolsista da Fundação VUNESP.

Dalton Francisco de Andrade, Universidade Federal de Santa Catarina (UFSC), Florianópolis-SC, Brasil

Possui graduação em Licenciatura em Matemática pela Universidade de São Paulo (1973), Mestrado em Estatística pela Universidade de São Paulo (1977) e PhD em Biostatistics pela University of North Carolina at Chapel Hill, USA (1984). Atualmente é professor titular da UFSC, com atuação em programas de pós-graduação dos Departamentos de Engenharia de Produção (PPGEP) e de Informática e Estatística (PPGMGA), Pesquisador Associado da Fundação Vunesp e Consultor do Inep/Mec.

Guaracy Tadeu Rocha, Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp), Botucatu-SP, Brasil

Possui graduação em Licenciatura e em Bacharelado em Ciências Biológicas pelo Instituto Básico de Biologia Médica e Agrícola da UNESP (1983), Mestrado e Doutorado em Ciências Biológicas AC Genética (1993), pelo Instituto de Biociências da UNESP, Botucatu. É Professor em Genética e Evolução pelo Instituto de Biociências da Universidade Estadual Paulista Júlio de Mesquita Filho, Câmpus de Botucatu, onde atua desde 1988, em regime de dedicação exclusiva junto ao Departamento de Genética.

Tânia Cristina Arantes de Macedo Azevedo, Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp), Guaratinguetá-SP, Brasil

Possui graduação em Bacharelado em Física pela Universidade de São Paulo (1979), mestrado em Tecnologia Nuclear pelo Instituto de Pesquisa Energéticas e Nucleares (1982) e doutorado em Física pela Universidade de São Paulo (1989). Atualmente é consultora do Conselho Estadual de Educação do Estado de São Paulo e avaliadora institucional e de curso de graduação do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Professor assistente doutor da Universidade Estadual Paulista Júlio de Mesquita Filho desde 1982, lotada no Departamento de Física e Química da Faculdade de Engenharia de Guaratinguetá. Consultora do Conselho Estadual de Educação do Estado de São Paulo.

Citas

AMERICAN EDUCATIONAL RESEARCH ASSOCIATION; AMERICAN PSYCHOLOGICAL ASSOCIATION; NATIONAL COUNCIL ON MEASUREMENT IN EDUCATION. Standards for educational and psychological testing. Washington, DC: American Educational Research Association, 2014.

ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. Teoria da resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.

BARBETTA, P. A.; TREVISAN, L. M. V.; TAVARES, H. R.; AZEVEDO, T. C. A. M. Aplicação da teoria da resposta ao item uni e multidimensional na análise da prova de conhecimentos gerais do vestibular da Unesp. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 57, p. 280-302, jan./abr. 2014. DOI: https://doi.org/10.18222/eae255720142832

BEATON, A. E.; ALLEN, N. L. Interpreting scales through scale anchoring. Journal of Educational Statistics, Washington, v. 17, n. 2, p. 191-204, June 1992. DOI: https://doi.org/10.3102/10769986017002191

BRASIL. Ministério da Educação. Parâmetros curriculares nacionais para o ensino médio. Brasília, 2000. Disponível em: portal.mec.gov.br/expansao-da-rede-federal/195-secretarias-112877938/sebeducacao-basica-2007048997/12598-publicacoes-sp-265002211. Acesso em: 7 dez. 2018.

BRASIL. Ministério da Educação. Diretrizes curriculares nacionais para educação básica. Brasília, 2013. Disponível em: http://portal.mec.gov.br/docman/julho-2013-pdf/13677-diretrizes-educacao-basica2013-pdf/file. Acesso em: 7 dez. 2018.

BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Matrizes e escalas. Brasília, 2015. Disponível em: http://provabrasil.inep.gov.br/escalas-de-proficiencia. Acesso em: 26 set. 2018.

CAI, L.; HANSEN, M. Limited-information goodness-of-fit testing of hierarchical item factor models. British Journal of Mathematical and Statistical Psychology, Leicester, UK, v. 66, n. 2, p. 245-276, May 2013. DOI: https://doi.org/10.1111/j.2044-8317.2012.02050.x

CHALMERS, P. Mirt: a multidimensional item response theory package for the R Environment. Journal of Statistical Software, Innsbruck, Austria, v. 48, n. 6, p. 1-29, May 2012. Disponível em: DOI: https://doi.org/10.18637/jss.v048.i06

www.jstatsoft.org/v48/i06/. Acesso em: jun. 2015.

CHALMERS, P. Package mirt: multidimensional item response theory. Version 1.25. 2017. Disponível em: http://cran.r-project.org/web/packages/mirt/mirt.pdf. Acesso em: set. 2017.

CHEN, W. H.; THISSEN, D. Local dependence indexes for item pairs using item response theory. Journal of Educational and Behavioral Statistics, Washington, v. 22, n. 3, p. 265-289, Sept. 1997. DOI: https://doi.org/10.3102/10769986022003265

COELHO, E. C. Teoria da resposta ao item: desafios e perspectivas em exame multidisciplinar. 2014. 189 f. Tese (Doutorado em Métodos Numéricos em Engenharia) – Universidade Federal do Paraná, Curitiba, 2014.

KOLEN, M. J.; BRENNAN, R. L. Test equating, scaling, and linking: methods and practices. New York: Springer, 2004. DOI: https://doi.org/10.1007/978-1-4757-4310-4

GARRIDO, L. E.; ABAD, J. A.; PONSODA, V. A new look at horn’s parallel analysis with ordinal variables. Psychological Methods, Washington, v. 18, n. 4, p. 454-474, Oct. 2013. DOI: https://doi.org/10.1037/a0030005

GOMES, D. E. Avaliação pedagógica para uma escala única do Enem. 2018. Dissertação (Mestrado em Métodos e Gestão em Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2018.

OLSSON, U.; DRASGOW, F. E.; DORANS, N. The polyserial correlation coefficient. Psychometrika, Switzerland, v. 47, n. 3, p. 337-347, Sept. 1982. DOI: https://doi.org/10.1007/BF02294164

PASQUALI, L. Psicometria: teoria dos testes na psicologia e na educação. Petrópolis: Vozes, 2003.

QUARESMA, E. S. Modelagem para construção de escalas avaliativas e classificatórias em exames seletivos utilizando teoria da resposta ao item uni e multidimensional. 2014. 187 f. Tese (Doutorado em Ciências) – Escola Superior de Agricultura “Luiz de Queiroz” (Esalq), Universidade de São Paulo, Piracicaba, 2014.

R CORE TEAM. R: A language and environment for statistical computing. Vienna, Austria: R Foundation for Statistical Computing, 2017. Disponível em: www.r-project.org. Acesso em: set. 2017.

RECKASE, M. Multidimensional item response theory. New York: Springer, 2009. DOI: https://doi.org/10.1007/978-0-387-89976-3

REVELLE, W. An introduction to psychometric theory with applications in R. FreeTextbookList.com. 2017a. Disponível em: http://personality-project.org/r/book/. Acesso em: 8 set. 2017.

REVELLE, W. Psych: procedures for psychological, psychometric, and personality Research. R package version 1.7.5. 2017b. Disponível em: https://CRAN.R-project.org/package=psych. Acesso em: 8 set. 2017.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Ciências da Natureza e suas tecnologias. Ensino Fundamental – Ciclo II e Ensino Médio. São Paulo, 2011a. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/documentos/235.pdf. Acesso em: 30 nov. 2018.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Ciências Humanas e suas tecnologias. Ensino Fundamental – Ciclo II e Ensino Médio. São Paulo, 2011b. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/documentos/236.pdf. Acesso em: 30 nov. 2018.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Linguagens, códigos e suas tecnologias. Ensino Fundamental – Ciclo II e Ensino Médio. São Paulo, 2011c. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/documentos/237.pdf. Acesso em: 30 nov. 2018.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Matemática e suas tecnologias. São Paulo, 2011d. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/ documentos/238.pdf. Acesso em: 30 nov. 2018.

SCHILLING, S. G. The role of psychometric modeling in test validation: an application of multidimensional item response theory. Measurement: Interdisciplinary Research & Perspective, Philadelphia, USA, v. 5, n. 2, p. 93-106, Aug. 2009. DOI: https://doi.org/10.1080/15366360701487021

THIMOTY, A. B. Confirmatory factor analysis for applied research. 2. ed. New York: The Guilford Press, 2015.

VAN DER LINDEN, W. J. Handbook of item response theory. Volume one: models. New York: CRC Press, 2016. DOI: https://doi.org/10.1201/9781315374512

VIEIRA, N. A. As provas das quatro áreas do Enem vista como prova única na óptica de modelos da teoria da resposta ao item uni e multidimensionais. 2016. Dissertação (Mestrado em Métodos e Gestão em Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2016. Disponível em: https:// pergamum.ufsc.br/pergamum/biblioteca/index.php. Acesso em: 23 jul. 2017.

WEAKLIEM, D. L. A critique of the bayesian information criterion for model selection. Sociological Methods & Research, London, v. 27, n. 3, p. 359-97, Feb. 1999. DOI: https://doi.org/10.1177/0049124199027003002

Descargas

Publicado

2019-10-02

Cómo citar

Trevisan, L. M. V., Barbetta, P. A., Andrade, D. F. de, Rocha, G. T., & Azevedo, T. C. A. de M. (2019). Dimensionalidad y escala de conocimiento en uma prueba interdisciplinaria. Estudos Em Avaliação Educacional, 30(74), 392–419. https://doi.org/10.18222/eae.v30i74.5324

Número

Vol. 30 Núm. 74 (2019): maio/ago. 2019

Sección

Artículos

Licencia

Derechos de autor 2019 Ligia Maria Vettorato Trevisan, Pedro Alberto Barbetta, Dalton Francisco de Andrade, Guaracy Tadeu Rocha, Tânia Cristina Arantes de Macedo Azevedo

Creative Commons License

Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.

 

a. Los autores mantienen los derechos de autor y conceden a la revista el derecho de primera publicación.

b. Todos los trabajos están licenciados bajo la Licencia Creative Commons Attribution, que permite compartir el trabajo con reconocimiento de la autoría.

Hasta 2024, Estudos em Avaliação Educacional adoptó la licencia Creative Commons Atribución-NoComercial (CC BY-NC) para sus publicaciones. Para los textos publicados a partir de 2025, utilizará la licencia Creative Commons Atribución (CC BY), en consonancia con los principios de la Ciencia Abierta.