Are the tests of the National Exam of Upper Secondary Education unidimensional?

Authors

DOI:

https://doi.org/10.18222/eae.v31i78.7203

Keywords:

Education Assessment, Assessment Methods, Factor Analysis, Item Response Theory

Abstract

The Item Response Theory model used in many educational tests in Brazil, such as the Exame Nacional do Ensino Médio [National Exam of Upper Secondary Education], requires that items be unidimensional. This research therefore aimed to analyze whether the items of this exam contain such an assumption. Based on a random sample of participants who took the exam in 2017, the dimensionality of its tests was investigated using the Parallel Analysis test and the Full Information Factor Analysis. The results show that some items are not unidimensional.

Downloads

Download data is not yet available.

Author Biographies

Leandro Araujo de Sousa, Instituto Federal de Educação, Ciência e Tecnologia do Ceará (IFCE), Canindé-CE, Brasil

Doutor em educação pela Universidade Federal do Ceará (UFC). Docente do Instituto Federal de Educação, Ciência e Tecnologia do Ceará (IFCE).

José Airton de Freitas Pontes Junior, Universidade Estadual do Ceará (Uece), Fortaleza-CE, Brasil

Doutor em educação pela Universidade Federal do Ceará (UFC). Docente do Programa de Pós-Graduação em Educação (PPGE) da Universidade Estadual do Ceará (UECE). 

 

Adriana Eufrásio Braga, Universidade Federal do Ceará (UFC), Fortaleza-CE, Brasil

Doutora em educação pela Universidade Federal do Ceará (UFC). Docente da Universidade Federal do Ceará (UFC), do Programa de Pós-Graduação em Educação (PPGE).

References

ANDRADE, Dalton Francisco de; TAVARES, Heliton Ribeiro; VALLE, Raquel da Cunha. Teoria de resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.

ANDRADE, Gisele Gama. A metodologia do Enem: uma reflexão. Série-Estudos, Campo Grande, MS, n. 33, p. 67-76, 2012.

ANDRADE, Josemberg Moura de; LAROS, Jacob Arie; GOUVEIA, Valdiney Veloso. O uso da teoria de resposta ao item em avaliações educacionais: diretrizes para pesquisadores. Avaliação Psicológica, Campinas, SP, v. 9, n. 3, p. 421-435, 2010.

ANDRIOLA, Wagner Bandeira. Avaliação da aprendizagem: uma análise descritiva segundo a teoria de resposta ao item (TRI). Educação em Debate, Fortaleza, v. 20, n. 36, p. 93-102, 1998.

BARTHOLOMEW, David J. Factor analysis for categorical data. Journal of the Royal Statistical Society, v. 42, n. 3, p. 293-321, 1980.

BÉLAND, Sébastien; JOLANI, Shahab; PICHETTE, François; RENAUD, Jean-Sébastien. Impact of simple substitution methods for missing data on classical test theory difficulty and discrimination. The Quantitative Methods for Psychology, v. 14, n. 3, p. 180-192, 2018.

BRASIL. Ministério da Educação. Teoria de resposta ao item avalia habilidade e minimiza o “chute” de candidatos. 2011. Disponível em: http://portal.mec.gov.br/ultimas-noticias/389-ensino-medio-2092297298/17319-teoria-de-resposta-ao-item-avalia-habilidade-e-minimiza-o-chute. Acesso em: 14 dez. 2020.

CANÇADO, Regina; CASTRO, Maria Jose Pereira; OLIVEIRA, Isabella Fernandes de. Análise pedagógica de itens de teste por meio da teoria de resposta ao item. In: REUNIÃO DA ABAVE, 7., 2013, Brasilia-DF. Anais […]. Brasilia-DF, 2013.

CHALMERS, R. Philip. MIRT : A multidimensional item response theory package for the R environment. Journal of Statistical Software, v. 48, n. 6, p. 1-29, 2012.

COSTA, Carlos Eduardo Sousa. Análise da dimensionalidade e modelagem multidimensional pela TRI no Enem (1998-2008 ). 2015. Dissertação (Mestrado em Métodos e Gestão em Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2015.

COSTA, Patrícia; FERRÃO, Maria Eugénia. On the complementarity of classical test theory and item response models: Item difficulty estimates and computerized adaptive testing. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 23, n. 88, p. 593-610, 2015.

FERREIRA, Francisco Fialho Guedes. Escala de proficiência para o Enem utilizando teoria de resposta ao item. 2009. Dissertação (Mestrado em Matemática e Estatística) – Universidade Federal do Pará, Belém, 2009.

GOMES, Cristiano Mauro Assis; GOLINO, Hudson Fernandes; PERES, Alexandre José de Souza. Análise da fidedignidade composta dos escores do Enem por meio da análise fatorial de itens. European Journal of Education Studies, v. 5, n. 8, p. 331-344, 2018. http://dx.doi.org/10.46827/ejes.v0i0.2178.

HAYTON, James C.; ALLEN, David G.; SCARPELLO, Vida. Factor retention decisions in exploratory factor analysis: A tutorial on parallel analysis. Organizational Research Methods, v. 7, n. 2, p. 191-205, 2004.

KLEIN, Ruben. Utilização da teoria de resposta ao item no Sistema Nacional de Avaliação da Educação Básica (Saeb). Meta: Avaliação, Rio de Janeiro, v. 1, n. 2, p. 125-140, 2009.

KLEIN, Ruben. Alguns aspectos da Teoria de Resposta ao Item relativos à estimação das proficiências. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 21, n. 78, p. 35-56, 2013.

MUNER, Luana Comito. Análise fatorial exploratória e comfirmatória do Enem 2010 com estudantes paulistas. 2013. Dissertação (Mestrado em Psicologia) – Universidade São Francisco, Itatiba-SP, 2013.

MUÑIZ, José. Teoría clássica de los testes. Madrid: Pirámede, 1994.

NEWMAN, Daniel A. Missing data: five practical guidelines. Organizational Research Methods, v. 17, n. 4, p. 372-411, 2014.

NOJOSA, Ronaldo Targino. Teoria da Resposta ao Item (TRI): modelos multidimensionais. Estudos em Avaliação Educacional, São Paulo, n. 25, p. 123-166, jan./jun. 2002.

NYLUND, Karen L.; ASPAROUHOV, Tihomir; MUTHÉN, Bengt O. Deciding on the number of classes in latent class analysis and growth mixture modeling: A Monte Carlo simulation study. Structural Equation Modeling: A Multidisciplinary Journal, v. 14, n. 4, p. 535-569, 23 out. 2007.

OLIVEIRA, Bolivar Alves. Interdisciplinaridade e dimensionalidade das provas do Enem. In: REUNIÃO DA ABAVE, 8., 2015, Florianópolis. Anais [...]. Florianópolis: Abave, 2015.

PASQUALI, Luiz. Psicometria: teoria dos testes na psicologia e na educação. 3. ed. Petrópolis, RJ: Vozes, 2009.

PICCIRILLI, Giovanni Pastori; SOUZA, Aparecida Donizete Pires de. Teoria da Resposta ao Item multidimensional: análise da dimensionalidade da prova do Enem 2016. In: CONGRESSO DE INICIAÇÃO CIENTÍFICA DA UNESP, 30., 2018, Presidente Prudente. Anais [...]. Presidente Prudente: Unesp, 2018.

PRIMI, Ricardo; CICCHETTO, Airton A. Como os escores do Enem são atribuídos pela TRI? In: CONBRATRI: MÉTODOS PARA DETECÇÃO DE FRAUDES EM TESTES, 6., Juiz de Fora. Anais [...]. Juiz de Fora: Abave, 2018.

RECKASE, Mark D. Multidimensional item response theory. New York, NY: Springer, 2009.

REVELLE, W. Psych: Procedures for personality and psychological research, 2017. Disponível em: https://cran.r-project.org/package=psych. Acesso em: 14 dez. 2020.

RIZOPOULOS, Dimitris. Ltm: An R package for latent variable modeling and item response theory analyses. Journal of Statistical Software, v. 17, n. 5, p. 1-25, 2006.

SARTES, Laisa Marcorela Andreoli; SOUSA-FORMIGONI, Maria Lucia Oliveira de. Avanços na psicometria: da teoria clássica dos testes à teoria de resposta ao item. Psicologia: Reflexão e Crítica, Porto Alegre, v. 26, n. 2, p. 241-250, 2013.

SOARES, Denilson Junio Marques; SOARES, Talita Emidio Andrade; SANTOS, Wagner dos. Análise da qualidade psicométrica da prova de matemática do Exame Nacional do Ensino Médio brasileiro de 2018. Revista Actualidades Investigativas en Educación, v. 21, n. 1, p. 1-28, 2020. http://dx.doi.org/10.15517/aie.v21i1.42338.

SOUSA, Leandro Araujo de; BRAGA, Adriana Eufrásio. Teoria clássica dos testes e teoria de resposta ao item em avaliação educacional. Revista de Instrumentos, Modelos e Políticas em Avaliação Educacional, Itaperi, CE, v. 1, n. 1, p. e020002, 2020.

SOUSA, Leandro Araujo de; PONTES JUNIOR, José Airton de Freitas; BRAGA, Adriana Eufrásio. Educação física no Exame Nacional do Ensino Médio: análise via teoria clássica dos testes. Revista Actualidades Investigativas en Educación, v. 20, n. 1, p. 257-277, Abr. 2020. http://dx.doi.org/10.15517/aie.v20i1.40126.

STOUT, William F. A new item response theory modeling approach with applications to unidimensionality assessment and ability estimation. Psychometrika, v. 55, n. 2, p. 293-325, 1990.

TAVARES, Cristina Zukowsky. Teoria da resposta ao item: uma análise crítica dos pressupostos epistemológicos. Estudos em Avaliação Educacional, São Paulo, v. 24, n. 54, p. 56-76, jan./abr. 2013.

TOFFOLI, Sônia Ferreira Lopes. Análise da qualidade de uma prova de matemática do Exame Nacional do Ensino Médio. Educação e Pesquisa, São Paulo, v. 45, e187128, 2019. http://dx.doi.org/10.1590/S1678-4634201945187128.

TOFFOLI, Sônia Ferreira Lopes; ANDRADE, Dalton Francisco de; BORNIA, Antonio Cezar; QUEVEDO-CAMARGO, Gladys. Avaliação com itens abertos: validade, confiabilidade, comparabilidade e justiça. Educação e Pesquisa, São Paulo, v. 42, n. 2, p. 343-358, jun. 2016.

TRAVITZKI, Rodrigo. Avaliação da qualidade do Enem 2009 e 2011 com técnicas psicométricas. Estudos em Avaliação Educacional, São Paulo, v. 28, n. 67, p. 256-288, jan./abr. 2017. http://dx.doi.org/10.18222/eae.v28i67.3910.

VALLE, Raquel da Cunha. Teoria de resposta ao item. Estudos em Avaliação Educacional, São Paulo, n. 21, p. 7-92, jan./jun. 2000.

VIANNA, Heraldo Marelim. Testes em educação. São Paulo: Ibrasa, 1976.

VIEIRA, Nara Núbia. As provas das quatro áreas do Enem vista como prova única na ótica de modelos da Teoria da Resposta ao Item uni e multidimensional. 2016. Dissertação (Mestrado Profissional em Métodos e Gestão da Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2016.

Downloads

Published

2020-12-01

How to Cite

Sousa, L. A. de, Pontes Junior, J. A. de F., & Braga, A. E. (2020). Are the tests of the National Exam of Upper Secondary Education unidimensional?. Estudos Em Avaliação Educacional, 31(78), 554–576. https://doi.org/10.18222/eae.v31i78.7203

Issue

Vol. 31 No. 78 (2020): set./dez. 2020

Section

Articles

License

Copyright (c) 2021 Estudos em Avaliação Educacional

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

Authors who publish in this journal agree to the following terms:

a. Authors retain the copyright and grant the journal the right to first publication, with the paper simultaneously licensed under the Creative Commons Attribution license that allows the sharing of the paper with acknowledgment of authorship and initial publication in this journal.

b. Authors are authorized to assume additional contracts separately, for non-exclusive distribution of the version of the paper published in this journal (for example publishing in institutional repository or as a book chapter), with acknowledgment of authorship and initial publication in this journal.

c. Authors are allowed and encouraged to publish and distribute their paper on-line (for example in institutional repositories or on their personal page) at any moment before or during the editorial process, as this can generate productive changes, as well as increase the impact and citation of the published paper (See The Effect of Open Access).