¿Las pruebas del Examen Nacional de la Secundaria Superior son unidimensionales?

Autores/as

DOI:

https://doi.org/10.18222/eae.v31i78.7203

Palabras clave:

Evaluación de la educación escolar, Métodos de Evaluación, Análisis Factorial, Teoría de la Respuesta al Ítem

Resumen

El modelo de Teoría de la Respuesta al Ítem utilizado en muchas pruebas educacionales en Brasil, como el Exame Nacional do Ensino Médio [Examen Nacional de la Secundaria Superior], exige que los ítems sean unidimensionales. De este modo, este estudio tuvo el propósito de analizar si los ítems de este examen presentan dicha suposición. Para ello, en base a una muestra aleatoria de participantes que realizaron la prueba en 2017, se investigó la dimensionalidad de las pruebas del examen por medio del test de Análisis Paralelo y Análisis Factorial de Información Plena. Los resultados encontrados indican que algunos de los ítems no son unidimensionales.

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

Leandro Araujo de Sousa, Instituto Federal de Educação, Ciência e Tecnologia do Ceará (IFCE), Canindé-CE, Brasil

Doutor em educação pela Universidade Federal do Ceará (UFC). Docente do Instituto Federal de Educação, Ciência e Tecnologia do Ceará (IFCE).

José Airton de Freitas Pontes Junior, Universidade Estadual do Ceará (Uece), Fortaleza-CE, Brasil

Doutor em educação pela Universidade Federal do Ceará (UFC). Docente do Programa de Pós-Graduação em Educação (PPGE) da Universidade Estadual do Ceará (UECE). 

 

Adriana Eufrásio Braga, Universidade Federal do Ceará (UFC), Fortaleza-CE, Brasil

Doutora em educação pela Universidade Federal do Ceará (UFC). Docente da Universidade Federal do Ceará (UFC), do Programa de Pós-Graduação em Educação (PPGE).

Citas

ANDRADE, Dalton Francisco de; TAVARES, Heliton Ribeiro; VALLE, Raquel da Cunha. Teoria de resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.

ANDRADE, Gisele Gama. A metodologia do Enem: uma reflexão. Série-Estudos, Campo Grande, MS, n. 33, p. 67-76, 2012.

ANDRADE, Josemberg Moura de; LAROS, Jacob Arie; GOUVEIA, Valdiney Veloso. O uso da teoria de resposta ao item em avaliações educacionais: diretrizes para pesquisadores. Avaliação Psicológica, Campinas, SP, v. 9, n. 3, p. 421-435, 2010.

ANDRIOLA, Wagner Bandeira. Avaliação da aprendizagem: uma análise descritiva segundo a teoria de resposta ao item (TRI). Educação em Debate, Fortaleza, v. 20, n. 36, p. 93-102, 1998.

BARTHOLOMEW, David J. Factor analysis for categorical data. Journal of the Royal Statistical Society, v. 42, n. 3, p. 293-321, 1980.

BÉLAND, Sébastien; JOLANI, Shahab; PICHETTE, François; RENAUD, Jean-Sébastien. Impact of simple substitution methods for missing data on classical test theory difficulty and discrimination. The Quantitative Methods for Psychology, v. 14, n. 3, p. 180-192, 2018.

BRASIL. Ministério da Educação. Teoria de resposta ao item avalia habilidade e minimiza o “chute” de candidatos. 2011. Disponível em: http://portal.mec.gov.br/ultimas-noticias/389-ensino-medio-2092297298/17319-teoria-de-resposta-ao-item-avalia-habilidade-e-minimiza-o-chute. Acesso em: 14 dez. 2020.

CANÇADO, Regina; CASTRO, Maria Jose Pereira; OLIVEIRA, Isabella Fernandes de. Análise pedagógica de itens de teste por meio da teoria de resposta ao item. In: REUNIÃO DA ABAVE, 7., 2013, Brasilia-DF. Anais […]. Brasilia-DF, 2013.

CHALMERS, R. Philip. MIRT : A multidimensional item response theory package for the R environment. Journal of Statistical Software, v. 48, n. 6, p. 1-29, 2012.

COSTA, Carlos Eduardo Sousa. Análise da dimensionalidade e modelagem multidimensional pela TRI no Enem (1998-2008 ). 2015. Dissertação (Mestrado em Métodos e Gestão em Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2015.

COSTA, Patrícia; FERRÃO, Maria Eugénia. On the complementarity of classical test theory and item response models: Item difficulty estimates and computerized adaptive testing. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 23, n. 88, p. 593-610, 2015.

FERREIRA, Francisco Fialho Guedes. Escala de proficiência para o Enem utilizando teoria de resposta ao item. 2009. Dissertação (Mestrado em Matemática e Estatística) – Universidade Federal do Pará, Belém, 2009.

GOMES, Cristiano Mauro Assis; GOLINO, Hudson Fernandes; PERES, Alexandre José de Souza. Análise da fidedignidade composta dos escores do Enem por meio da análise fatorial de itens. European Journal of Education Studies, v. 5, n. 8, p. 331-344, 2018. http://dx.doi.org/10.46827/ejes.v0i0.2178.

HAYTON, James C.; ALLEN, David G.; SCARPELLO, Vida. Factor retention decisions in exploratory factor analysis: A tutorial on parallel analysis. Organizational Research Methods, v. 7, n. 2, p. 191-205, 2004.

KLEIN, Ruben. Utilização da teoria de resposta ao item no Sistema Nacional de Avaliação da Educação Básica (Saeb). Meta: Avaliação, Rio de Janeiro, v. 1, n. 2, p. 125-140, 2009.

KLEIN, Ruben. Alguns aspectos da Teoria de Resposta ao Item relativos à estimação das proficiências. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 21, n. 78, p. 35-56, 2013.

MUNER, Luana Comito. Análise fatorial exploratória e comfirmatória do Enem 2010 com estudantes paulistas. 2013. Dissertação (Mestrado em Psicologia) – Universidade São Francisco, Itatiba-SP, 2013.

MUÑIZ, José. Teoría clássica de los testes. Madrid: Pirámede, 1994.

NEWMAN, Daniel A. Missing data: five practical guidelines. Organizational Research Methods, v. 17, n. 4, p. 372-411, 2014.

NOJOSA, Ronaldo Targino. Teoria da Resposta ao Item (TRI): modelos multidimensionais. Estudos em Avaliação Educacional, São Paulo, n. 25, p. 123-166, jan./jun. 2002.

NYLUND, Karen L.; ASPAROUHOV, Tihomir; MUTHÉN, Bengt O. Deciding on the number of classes in latent class analysis and growth mixture modeling: A Monte Carlo simulation study. Structural Equation Modeling: A Multidisciplinary Journal, v. 14, n. 4, p. 535-569, 23 out. 2007.

OLIVEIRA, Bolivar Alves. Interdisciplinaridade e dimensionalidade das provas do Enem. In: REUNIÃO DA ABAVE, 8., 2015, Florianópolis. Anais [...]. Florianópolis: Abave, 2015.

PASQUALI, Luiz. Psicometria: teoria dos testes na psicologia e na educação. 3. ed. Petrópolis, RJ: Vozes, 2009.

PICCIRILLI, Giovanni Pastori; SOUZA, Aparecida Donizete Pires de. Teoria da Resposta ao Item multidimensional: análise da dimensionalidade da prova do Enem 2016. In: CONGRESSO DE INICIAÇÃO CIENTÍFICA DA UNESP, 30., 2018, Presidente Prudente. Anais [...]. Presidente Prudente: Unesp, 2018.

PRIMI, Ricardo; CICCHETTO, Airton A. Como os escores do Enem são atribuídos pela TRI? In: CONBRATRI: MÉTODOS PARA DETECÇÃO DE FRAUDES EM TESTES, 6., Juiz de Fora. Anais [...]. Juiz de Fora: Abave, 2018.

RECKASE, Mark D. Multidimensional item response theory. New York, NY: Springer, 2009.

REVELLE, W. Psych: Procedures for personality and psychological research, 2017. Disponível em: https://cran.r-project.org/package=psych. Acesso em: 14 dez. 2020.

RIZOPOULOS, Dimitris. Ltm: An R package for latent variable modeling and item response theory analyses. Journal of Statistical Software, v. 17, n. 5, p. 1-25, 2006.

SARTES, Laisa Marcorela Andreoli; SOUSA-FORMIGONI, Maria Lucia Oliveira de. Avanços na psicometria: da teoria clássica dos testes à teoria de resposta ao item. Psicologia: Reflexão e Crítica, Porto Alegre, v. 26, n. 2, p. 241-250, 2013.

SOARES, Denilson Junio Marques; SOARES, Talita Emidio Andrade; SANTOS, Wagner dos. Análise da qualidade psicométrica da prova de matemática do Exame Nacional do Ensino Médio brasileiro de 2018. Revista Actualidades Investigativas en Educación, v. 21, n. 1, p. 1-28, 2020. http://dx.doi.org/10.15517/aie.v21i1.42338.

SOUSA, Leandro Araujo de; BRAGA, Adriana Eufrásio. Teoria clássica dos testes e teoria de resposta ao item em avaliação educacional. Revista de Instrumentos, Modelos e Políticas em Avaliação Educacional, Itaperi, CE, v. 1, n. 1, p. e020002, 2020.

SOUSA, Leandro Araujo de; PONTES JUNIOR, José Airton de Freitas; BRAGA, Adriana Eufrásio. Educação física no Exame Nacional do Ensino Médio: análise via teoria clássica dos testes. Revista Actualidades Investigativas en Educación, v. 20, n. 1, p. 257-277, Abr. 2020. http://dx.doi.org/10.15517/aie.v20i1.40126.

STOUT, William F. A new item response theory modeling approach with applications to unidimensionality assessment and ability estimation. Psychometrika, v. 55, n. 2, p. 293-325, 1990.

TAVARES, Cristina Zukowsky. Teoria da resposta ao item: uma análise crítica dos pressupostos epistemológicos. Estudos em Avaliação Educacional, São Paulo, v. 24, n. 54, p. 56-76, jan./abr. 2013.

TOFFOLI, Sônia Ferreira Lopes. Análise da qualidade de uma prova de matemática do Exame Nacional do Ensino Médio. Educação e Pesquisa, São Paulo, v. 45, e187128, 2019. http://dx.doi.org/10.1590/S1678-4634201945187128.

TOFFOLI, Sônia Ferreira Lopes; ANDRADE, Dalton Francisco de; BORNIA, Antonio Cezar; QUEVEDO-CAMARGO, Gladys. Avaliação com itens abertos: validade, confiabilidade, comparabilidade e justiça. Educação e Pesquisa, São Paulo, v. 42, n. 2, p. 343-358, jun. 2016.

TRAVITZKI, Rodrigo. Avaliação da qualidade do Enem 2009 e 2011 com técnicas psicométricas. Estudos em Avaliação Educacional, São Paulo, v. 28, n. 67, p. 256-288, jan./abr. 2017. http://dx.doi.org/10.18222/eae.v28i67.3910.

VALLE, Raquel da Cunha. Teoria de resposta ao item. Estudos em Avaliação Educacional, São Paulo, n. 21, p. 7-92, jan./jun. 2000.

VIANNA, Heraldo Marelim. Testes em educação. São Paulo: Ibrasa, 1976.

VIEIRA, Nara Núbia. As provas das quatro áreas do Enem vista como prova única na ótica de modelos da Teoria da Resposta ao Item uni e multidimensional. 2016. Dissertação (Mestrado Profissional em Métodos e Gestão da Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2016.

Descargas

Publicado

2020-12-01

Cómo citar

Sousa, L. A. de, Pontes Junior, J. A. de F., & Braga, A. E. (2020). ¿Las pruebas del Examen Nacional de la Secundaria Superior son unidimensionales?. Estudos Em Avaliação Educacional, 31(78), 554–576. https://doi.org/10.18222/eae.v31i78.7203

Número

Vol. 31 Núm. 78 (2020): set./dez. 2020

Sección

Artículos

Licencia

Derechos de autor 2021 Estudos em Avaliação Educacional

Creative Commons License

Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.

Los autores que publican en esta revista concuerdan con los siguientes términos:

a. Los autores mantienen los derechos de autor y conceden a la revista el derecho de primera publicación, con el trabajo licenciado, simultáneamente, bajo la Licencia Creative Commons Attribution que permite compartir el trabajo con reconocimiento de la autoría y publicación inicial en esta revista.

b. Los autores tienen autorización para asumir, separadamente, contratos adicionales, para distribución no exclusiva de la versión del trabajo publicada en esta revista (ej.: publicar en repositorio institucional o como capítulo de libro), con reconocimiento de la autoría y publicación inicial en esta revista.

c. Los autores tienen autorización y son estimulados para publicar y distribuir sus trabajos on-line (ej.: en repositorios institucionales o en su respectiva página personal en la Internet) en cualquier fecha antes o durante el proceso editorial, ya que esto puede generar modificaciones productivas, así como aumentar el impacto y las citas del trabajo publicado (Véase: El Efecto del Acceso Libre).