As provas do Exame Nacional do Ensino Médio são unidimensionais?

Autores

DOI:

https://doi.org/10.18222/eae.v31i78.7203

Palavras-chave:

Avaliação da Educação, Métodos de Avaliação, Análise Fatorial, Teoria da Resposta ao Item

Resumo

O modelo de Teoria da Resposta ao Item utilizado em muitos testes educacionais no Brasil, como o Exame Nacional do Ensino Médio, exige que os itens sejam unidimensionais. Assim, esta pesquisa teve o objetivo de analisar se os itens desse exame apresentam essa suposição. Para tanto, com base em uma amostra aleatória de participantes que realizaram a prova em 2017, foi investigada a dimensionalidade das provas do exame por meio do teste de Análise Paralela e Análise Fatorial de Informação Plena. Os resultados encontrados indicam que alguns itens não são unidimensionais.

Biografia do Autor

Leandro Araujo de Sousa, Instituto Federal de Educação, Ciência e Tecnologia do Ceará (IFCE), Canindé-CE, Brasil

Doutor em educação pela Universidade Federal do Ceará (UFC). Docente do Instituto Federal de Educação, Ciência e Tecnologia do Ceará (IFCE).

José Airton de Freitas Pontes Junior, Universidade Estadual do Ceará (Uece), Fortaleza-CE, Brasil

Doutor em educação pela Universidade Federal do Ceará (UFC). Docente do Programa de Pós-Graduação em Educação (PPGE) da Universidade Estadual do Ceará (UECE).   

Adriana Eufrásio Braga, Universidade Federal do Ceará (UFC), Fortaleza-CE, Brasil

Doutora em educação pela Universidade Federal do Ceará (UFC). Docente da Universidade Federal do Ceará (UFC), do Programa de Pós-Graduação em Educação (PPGE).

Referências

ANDRADE, Dalton Francisco de; TAVARES, Heliton Ribeiro; VALLE, Raquel da Cunha. Teoria de resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.

ANDRADE, Gisele Gama. A metodologia do Enem: uma reflexão. Série-Estudos, Campo Grande, MS, n. 33, p. 67-76, 2012.

ANDRADE, Josemberg Moura de; LAROS, Jacob Arie; GOUVEIA, Valdiney Veloso. O uso da teoria de resposta ao item em avaliações educacionais: diretrizes para pesquisadores. Avaliação Psicológica, Campinas, SP, v. 9, n. 3, p. 421-435, 2010.

ANDRIOLA, Wagner Bandeira. Avaliação da aprendizagem: uma análise descritiva segundo a teoria de resposta ao item (TRI). Educação em Debate, Fortaleza, v. 20, n. 36, p. 93-102, 1998.

BARTHOLOMEW, David J. Factor analysis for categorical data. Journal of the Royal Statistical Society, v. 42, n. 3, p. 293-321, 1980.

BÉLAND, Sébastien; JOLANI, Shahab; PICHETTE, François; RENAUD, Jean-Sébastien. Impact of simple substitution methods for missing data on classical test theory difficulty and discrimination. The Quantitative Methods for Psychology, v. 14, n. 3, p. 180-192, 2018.

BRASIL. Ministério da Educação. Teoria de resposta ao item avalia habilidade e minimiza o “chute” de candidatos. 2011. Disponível em: http://portal.mec.gov.br/ultimas-noticias/389-ensino-medio-2092297298/17319-teoria-de-resposta-ao-item-avalia-habilidade-e-minimiza-o-chute. Acesso em: 14 dez. 2020.

CANÇADO, Regina; CASTRO, Maria Jose Pereira; OLIVEIRA, Isabella Fernandes de. Análise pedagógica de itens de teste por meio da teoria de resposta ao item. In: REUNIÃO DA ABAVE, 7., 2013, Brasilia-DF. Anais […]. Brasilia-DF, 2013.

CHALMERS, R. Philip. MIRT : A multidimensional item response theory package for the R environment. Journal of Statistical Software, v. 48, n. 6, p. 1-29, 2012.

COSTA, Carlos Eduardo Sousa. Análise da dimensionalidade e modelagem multidimensional pela TRI no Enem (1998-2008 ). 2015. Dissertação (Mestrado em Métodos e Gestão em Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2015.

COSTA, Patrícia; FERRÃO, Maria Eugénia. On the complementarity of classical test theory and item response models: Item difficulty estimates and computerized adaptive testing. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 23, n. 88, p. 593-610, 2015.

FERREIRA, Francisco Fialho Guedes. Escala de proficiência para o Enem utilizando teoria de resposta ao item. 2009. Dissertação (Mestrado em Matemática e Estatística) – Universidade Federal do Pará, Belém, 2009.

GOMES, Cristiano Mauro Assis; GOLINO, Hudson Fernandes; PERES, Alexandre José de Souza. Análise da fidedignidade composta dos escores do Enem por meio da análise fatorial de itens. European Journal of Education Studies, v. 5, n. 8, p. 331-344, 2018. http://dx.doi.org/10.46827/ejes.v0i0.2178.

HAYTON, James C.; ALLEN, David G.; SCARPELLO, Vida. Factor retention decisions in exploratory factor analysis: A tutorial on parallel analysis. Organizational Research Methods, v. 7, n. 2, p. 191-205, 2004.

KLEIN, Ruben. Utilização da teoria de resposta ao item no Sistema Nacional de Avaliação da Educação Básica (Saeb). Meta: Avaliação, Rio de Janeiro, v. 1, n. 2, p. 125-140, 2009.

KLEIN, Ruben. Alguns aspectos da Teoria de Resposta ao Item relativos à estimação das proficiências. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 21, n. 78, p. 35-56, 2013.

MUNER, Luana Comito. Análise fatorial exploratória e comfirmatória do Enem 2010 com estudantes paulistas. 2013. Dissertação (Mestrado em Psicologia) – Universidade São Francisco, Itatiba-SP, 2013.

MUÑIZ, José. Teoría clássica de los testes. Madrid: Pirámede, 1994.

NEWMAN, Daniel A. Missing data: five practical guidelines. Organizational Research Methods, v. 17, n. 4, p. 372-411, 2014.

NOJOSA, Ronaldo Targino. Teoria da Resposta ao Item (TRI): modelos multidimensionais. Estudos em Avaliação Educacional, São Paulo, n. 25, p. 123-166, jan./jun. 2002.

NYLUND, Karen L.; ASPAROUHOV, Tihomir; MUTHÉN, Bengt O. Deciding on the number of classes in latent class analysis and growth mixture modeling: A Monte Carlo simulation study. Structural Equation Modeling: A Multidisciplinary Journal, v. 14, n. 4, p. 535-569, 23 out. 2007.

OLIVEIRA, Bolivar Alves. Interdisciplinaridade e dimensionalidade das provas do Enem. In: REUNIÃO DA ABAVE, 8., 2015, Florianópolis. Anais [...]. Florianópolis: Abave, 2015.

PASQUALI, Luiz. Psicometria: teoria dos testes na psicologia e na educação. 3. ed. Petrópolis, RJ: Vozes, 2009.

PICCIRILLI, Giovanni Pastori; SOUZA, Aparecida Donizete Pires de. Teoria da Resposta ao Item multidimensional: análise da dimensionalidade da prova do Enem 2016. In: CONGRESSO DE INICIAÇÃO CIENTÍFICA DA UNESP, 30., 2018, Presidente Prudente. Anais [...]. Presidente Prudente: Unesp, 2018.

PRIMI, Ricardo; CICCHETTO, Airton A. Como os escores do Enem são atribuídos pela TRI? In: CONBRATRI: MÉTODOS PARA DETECÇÃO DE FRAUDES EM TESTES, 6., Juiz de Fora. Anais [...]. Juiz de Fora: Abave, 2018.

RECKASE, Mark D. Multidimensional item response theory. New York, NY: Springer, 2009.

REVELLE, W. Psych: Procedures for personality and psychological research, 2017. Disponível em: https://cran.r-project.org/package=psych. Acesso em: 14 dez. 2020.

RIZOPOULOS, Dimitris. Ltm: An R package for latent variable modeling and item response theory analyses. Journal of Statistical Software, v. 17, n. 5, p. 1-25, 2006.

SARTES, Laisa Marcorela Andreoli; SOUSA-FORMIGONI, Maria Lucia Oliveira de. Avanços na psicometria: da teoria clássica dos testes à teoria de resposta ao item. Psicologia: Reflexão e Crítica, Porto Alegre, v. 26, n. 2, p. 241-250, 2013.

SOARES, Denilson Junio Marques; SOARES, Talita Emidio Andrade; SANTOS, Wagner dos. Análise da qualidade psicométrica da prova de matemática do Exame Nacional do Ensino Médio brasileiro de 2018. Revista Actualidades Investigativas en Educación, v. 21, n. 1, p. 1-28, 2020. http://dx.doi.org/10.15517/aie.v21i1.42338.

SOUSA, Leandro Araujo de; BRAGA, Adriana Eufrásio. Teoria clássica dos testes e teoria de resposta ao item em avaliação educacional. Revista de Instrumentos, Modelos e Políticas em Avaliação Educacional, Itaperi, CE, v. 1, n. 1, p. e020002, 2020.

SOUSA, Leandro Araujo de; PONTES JUNIOR, José Airton de Freitas; BRAGA, Adriana Eufrásio. Educação física no Exame Nacional do Ensino Médio: análise via teoria clássica dos testes. Revista Actualidades Investigativas en Educación, v. 20, n. 1, p. 257-277, Abr. 2020. http://dx.doi.org/10.15517/aie.v20i1.40126.

STOUT, William F. A new item response theory modeling approach with applications to unidimensionality assessment and ability estimation. Psychometrika, v. 55, n. 2, p. 293-325, 1990.

TAVARES, Cristina Zukowsky. Teoria da resposta ao item: uma análise crítica dos pressupostos epistemológicos. Estudos em Avaliação Educacional, São Paulo, v. 24, n. 54, p. 56-76, jan./abr. 2013.

TOFFOLI, Sônia Ferreira Lopes. Análise da qualidade de uma prova de matemática do Exame Nacional do Ensino Médio. Educação e Pesquisa, São Paulo, v. 45, e187128, 2019. http://dx.doi.org/10.1590/S1678-4634201945187128.

TOFFOLI, Sônia Ferreira Lopes; ANDRADE, Dalton Francisco de; BORNIA, Antonio Cezar; QUEVEDO-CAMARGO, Gladys. Avaliação com itens abertos: validade, confiabilidade, comparabilidade e justiça. Educação e Pesquisa, São Paulo, v. 42, n. 2, p. 343-358, jun. 2016.

TRAVITZKI, Rodrigo. Avaliação da qualidade do Enem 2009 e 2011 com técnicas psicométricas. Estudos em Avaliação Educacional, São Paulo, v. 28, n. 67, p. 256-288, jan./abr. 2017. http://dx.doi.org/10.18222/eae.v28i67.3910.

VALLE, Raquel da Cunha. Teoria de resposta ao item. Estudos em Avaliação Educacional, São Paulo, n. 21, p. 7-92, jan./jun. 2000.

VIANNA, Heraldo Marelim. Testes em educação. São Paulo: Ibrasa, 1976.

VIEIRA, Nara Núbia. As provas das quatro áreas do Enem vista como prova única na ótica de modelos da Teoria da Resposta ao Item uni e multidimensional. 2016. Dissertação (Mestrado Profissional em Métodos e Gestão da Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2016.

Downloads

Publicado

18-03-2021

Edição

Seção

Artigos