Evaluation of Enem (2009 and 2011)quality with psychometric techniques
DOI:
https://doi.org/10.18222/eae.v28i67.3910Keywords:
Meta Evaluation, Psychometrics, Large-Scale Evaluation, ENEM.Abstract
This study is a meta evaluation of the Exame Nacional do Ensino Médio [National Secondary Education Examination] (Enem) of 2009 and 2011, applying psychometric techniques to 2.025.268 tests. Some techniques were illustrated by analysis of item content, showing their usefulness to educators. We compared indicators related to the tests (α coefficient and average inter-item correlation), but mainly related to the items (item-whole correlation, biserial coefficient, discrimination and fit of two-parameter logistic model). The 2009 Mathematics test showed insufficient reliability (α <0.6). The Language and Human Sciences tests showed better quality indicators in both years. In total, we found 25% of items with anomalous empirical behavior in 2009 and 17% in 2011.Downloads
References
ALNABHAN, M.; HARWELL, M. Psychometric challenges in developing a college admission test for Jordan. Social Behavior and Personality: an international journal, Palmerston North, NZ, v. 29, n. 5, p. 445-458, jan. 2001. DOI: https://doi.org/10.2224/sbp.2001.29.5.445
AMERICAN EDUCATIONAL RESEARCH ASSOCIATION; AMERICAN PSYCHOLOGICAL ASSOCIATION; NATIONAL COUNCIL ON MEASUREMENT IN EDUCATION. Standards for educational and psychological testing. Washington: American Educational Research Association, 2014.
ANDRADE, D. F.; KARINO, C. A. Nota técnica: Teoria de Resposta ao Item (TRI). Brasília, DF: Inep, 2011. Disponível em: <http://download.inep.gov.br/educacao_basica/enem/nota_tecnica/2011/nota_tecnica_tri_enem_18012012. pdf>. Acesso em: 9 maio 2013.
ANDRADE, D. F.; KLEIN, R. Aspectos quantitativos da análise dos itens da prova do Enem. In: BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Exame Nacional do Ensino Médio (Enem): fundamentação teórico-metodológica. Brasília, DF: Inep, 2005. p. 107-112.
ANDRADE, J. M.; LAROS, J. A.; GOUVEIA, V. V. O uso da Teoria de Resposta ao Item em avaliações educacionais: diretrizes para pesquisadores. Avaliação Psicológica, Porto Alegre, v. 9, n. 3, p. 421-435, dez. 2010.
ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. Teoria da Resposta ao Item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.
ANDRIOLA, W. B. Psicometria moderna: características e tendências. Estudos em Avaliação Educacional, São Paulo, v. 20, n. 43, p. 319-340, maio/ago. 2009. DOI: https://doi.org/10.18222/eae204320092052
BAKER, F. B. The Basics of Item Response Theory. 2. ed. Washington: ERIC Clearinghouse on Assessment and Evaluation, 2001.
BASS, P. F.; WILSON, J. F.; GRIFFITH, C. H. A shortened instrument for literacy screening. Journal of General Internal Medicine, Alexandria, VA, v. 18, n. 12, p. 1036-1038, Dec. 2003. DOI: https://doi.org/10.1111/j.1525-1497.2003.10651.x
BRASIL. Portaria n. 807, de 18 de junho de 2010. Instituir o Exame Nacional do Ensino Médio (Enem) como procedimento de avaliação cujo objetivo é aferir se o participante do Exame, ao final do ensino médio, demonstra domínio dos princípios científicos e tecnológicos que presidem a produção moderna e conhecimento das formas contemporâneas de linguagem. Diário Oficial da União, Brasília, DF, 21 jun. 2010. Seção 1, p. 71.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Exame Nacional do Ensino Médio (Enem): fundamentação teórico-metodológica. Brasília, DF: Inep, 2005.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Enem: relatório pedagógico 2004. Brasília, DF: MEC/Inep, 2007.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Microdados. Brasília, DF: Inep/MEC, 2016. Disponível em: Acesso em: 3 mar. 2016.
CRONBACH, L. J. Coefficient alpha and the internal structure of tests. Psychometrika, Madison, LA, v. 16, n. 3, p. 297-334, Sep. 1951. DOI: https://doi.org/10.1007/BF02310555
FINI, M. E. Erros e acertos na elaboração de itens para a prova do Enem. In: BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Exame Nacional do Ensino Médio (Enem): fundamentação teórico- -metodológica. Brasília, DF: Inep, 2005. p. 101-105.
GILLEARD, C.; GROOM, F. A study of two dementia quizzes. British Journal of Clinical Psychology, New Jersey, v. 33, n. 4, p. 529-534, Nov. 1994. DOI: https://doi.org/10.1111/j.2044-8260.1994.tb01149.x
GOMES, C. M. A. Avaliando a avaliação escolar: notas escolares e inteligência fluida. Psicologia em Estudo, Maringá, PR, v. 15, n. 4, p. 841-849, out./dez. 2010. DOI: https://doi.org/10.1590/S1413-73722010000400020
HUDSON, T. Relationships among IRT item discrimination and item fit indices in criterion-referenced language testing. Language Testing, Londres, v. 8, n. 2, p. 160-181, 1 dez. 1991. DOI: https://doi.org/10.1177/026553229100800205
KARINO, C. A.; BARBOSA, M. T. S. Nota técnica: procedimento de cálculo das notas do Enem. Brasília, DF: Inep, 2012. Disponível em: . Acesso em: 1 maio 2016.
KARTAL, A. et al. Validity and reliability study of the Turkish version of Health Belief Model Scale in diabetic patients. International journal of nursing studies, Amsterdam, v. 44, n. 8, p. 1447-1458, Nov. 2007. DOI: https://doi.org/10.1016/j.ijnurstu.2007.06.004
KLEIN, R. Alguns aspectos da Teoria de Resposta ao Item relativos à estimação das proficiências. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 21, n. 78, p. 35-56, jan./mar. 2013. DOI: https://doi.org/10.1590/S0104-40362013005000003
KUDER, G. F.; RICHARDSON, M. W. The theory of the estimation of test reliability. Psychometrika, Madison, v. 2, n. 3, p. 151-160, Sep. 1937. DOI: https://doi.org/10.1007/BF02288391
LOPES, F. L.; VENDRAMINI, C. M. M. Propriedades psicométricas das provas de pedagogia do Enade via TRI. Avaliação: Revista da Avaliação da Educação Superior, Campinas, SP, v. 20, n. 1, p. 27-47, mar. 2015.
MARTÍNEZ ARIAS, R. Usos, aplicaciones y problemas de los modelos de valor añadido en educación. Revista de Educación, Madrid, v. 348, p. 217-250, enero/abr. 2009.
MASTERS, G. N. Item discrimination: when more is worse. Journal of Educational Measurement, New Jersey, v. 25, n. 1, p. 15-29, Mar. 1988. DOI: https://doi.org/10.1111/j.1745-3984.1988.tb00288.x
MORRIS, A. Student Standardised Testing: Current Practices in OECD Countries and a Literature Review. Paris: OECD, Out. 2011. 51 p. (OECD Education Working Papers, n. 65).
MUTHÉN, B. O.; KAO, C. F.; BURSTEIN, L. Instructionally Sensitive Psychometrics: Application of a New IRT – Based Detection Technique to Mathematics Achievement Test Items. Journal of Educational Measurement, New Jersey, v. 28, n. 1, p. 1-22, Mar. 1991. DOI: https://doi.org/10.1111/j.1745-3984.1991.tb00340.x
PASQUALI, L. Psicometria. Revista da Escola de Enfermagem da USP, São Paulo, v. 43, n. Especial, p. 992-999, dez. 2009. DOI: https://doi.org/10.1590/S0080-62342009000500002
PRIMI, R.; HUTZ, C. S.; SILVA, M. C. R. da. A prova do Enade de Psicologia 2006: concepção, construção e análise psicométrica da prova. Avaliação Psicológica, Itatiba, SP, v. 10, n. 3, p. 271-294, dez. 2011.
REVELLE, W. Psych: Procedures for Personality and Psychological Research. 1.6.12. Evanston, IL: Northwestern University, 2016. Download. Disponível em: <http://cran.r-project.org/package=psych>. Acesso em: 2 abr. 2017.
RIZOPOULOS, D. ltm: an R package for Latent Variable Modelling and Item Response Theory Analyses. Journal of Statistical Software, Innsbruck, AT, v. 17, n. 5, p. 1-25, Nov. 2006. DOI: https://doi.org/10.18637/jss.v017.i05
ROACH, A. J.; FRAZIER, L. P.; BOWDEN, S. R. The marital satisfaction scale: development of a measure for intervention research. Journal of Marriage and the Family, New Jersey, v. 43, n. 3, p. 537-546, Ago. 1981. DOI: https://doi.org/10.2307/351755
SCHMITT, N. Uses and abuses of coefficient alpha. Psychological Assessment, Washington, v. 8, n. 4, p. 350-353, Dec. 1996. DOI: https://doi.org/10.1037//1040-3590.8.4.350
SEVERO, M.; TAVARES, M. A. F. Metaevaluation in clinical anatomy: a practical application of item response theory in multiple choice examinations. Anatomical Sciences Education, New Jersey, v. 3, n. 1, p. 17-24, Nov. 2010. DOI: https://doi.org/10.1002/ase.118
SOARES, T. M. Utilização da Teoria da Resposta ao Item na produção de indicadores sócio-econômicos. Pesquisa operacional, Rio de Janeiro, v. 25, n. 1, p. 83-112, jan./abr. 2005. DOI: https://doi.org/10.1590/S0101-74382005000100006
STUFFLEBEAM, D. L. The Metaevaluation Imperative. American Journal of Evaluation, Washington, DC, v. 22, n. 2, p. 183-209, jun. 2001. DOI: https://doi.org/10.1016/S1098-2140(01)00127-8
TRAVITZKI, R. Enem: limites e possibilidades do Exame Nacional do Ensino Médio enquanto indicador de qualidade escolar. 2013. Tese (Doutorado em Educação) – Universidade de São Paulo, São Paulo, 2013a.
TRAVITZKI, R. Qualidade técnica dos itens do Enem 2009. In: REUNIÃO DA ASSOCIAÇÃO BRASILEIRA DE AVALIAÇÃO DA EDUCAÇÃO, 7., 2013, Brasília, DF. Avaliação e currículo: um diálogo necessário. Anais... Brasília, DF, 2013b.
ZAICHKOWSKY, J. L. The Personal Involvement Inventory: Reduction, Revision, and Application to Advertising. Journal of Advertising, Abingdon, v. 23, n. 4, p. 59-70, Dez. 1994. DOI: https://doi.org/10.1080/00913367.1943.10673459
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2017 Rodrigo Travitzki
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
a. Authors retain the copyright and grant the journal the right to first publication.
b. All works are licensed under the Creative Commons Attribution License, which allows the sharing of the paper with acknowledgment of authorship.
Until 2024, Estudos em Avaliação Educacional adopted the Creative Commons Attribution-NonCommercial (CC BY-NC) license for its publications. For texts published from 2025 onwards, the journal will adopt the Creative Commons Attribution (CC BY) license, in line with the principles of Open Science.
