Evaluación de la calidad del Enem 2009 y 2011 con técnicas psicométricas
DOI:
https://doi.org/10.18222/eae.v28i67.3910Palabras clave:
Metaevaluación, Psicometría, Evaluación en Gran Escala, Enem.Resumen
Se llevó a cabo una metaevaluación del Exame Nacional do Ensino Médio (Enem) de 2009 y 2011 por medio de la aplicación de técnicas psicométricas en 2.025.268 pruebas. Algunas de estas técnicas se ejemplificaron con la presentación del análisis del contenido de ítems, lo que puso de manifiesto su utilidad a los educadores. Se compararon indicadores relacionados con la prueba (coeficiente α y correlación inter-ítem media), pero sobre todo los relativos a los ítems (correlación ítem-total, coeficiente biserial – CB –, discriminación y ajuste del modelo logístico de dos parámetros). La prueba de Matemáticas de 2009 presentó confiabilidad insuficiente (α < 0,6). Las pruebas de Lenguajes y Códigos y Ciencias Humanas presentaron, en los dos años de estudio, mejores indicadores de calidad. En total se encontró un 25% de ítems com comportamiento empírico fuera de lo esperado en 2009, y un 17% en 2011.Descargas
Citas
ALNABHAN, M.; HARWELL, M. Psychometric challenges in developing a college admission test for Jordan. Social Behavior and Personality: an international journal, Palmerston North, NZ, v. 29, n. 5, p. 445-458, jan. 2001. DOI: https://doi.org/10.2224/sbp.2001.29.5.445
AMERICAN EDUCATIONAL RESEARCH ASSOCIATION; AMERICAN PSYCHOLOGICAL ASSOCIATION; NATIONAL COUNCIL ON MEASUREMENT IN EDUCATION. Standards for educational and psychological testing. Washington: American Educational Research Association, 2014.
ANDRADE, D. F.; KARINO, C. A. Nota técnica: Teoria de Resposta ao Item (TRI). Brasília, DF: Inep, 2011. Disponível em: <http://download.inep.gov.br/educacao_basica/enem/nota_tecnica/2011/nota_tecnica_tri_enem_18012012. pdf>. Acesso em: 9 maio 2013.
ANDRADE, D. F.; KLEIN, R. Aspectos quantitativos da análise dos itens da prova do Enem. In: BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Exame Nacional do Ensino Médio (Enem): fundamentação teórico-metodológica. Brasília, DF: Inep, 2005. p. 107-112.
ANDRADE, J. M.; LAROS, J. A.; GOUVEIA, V. V. O uso da Teoria de Resposta ao Item em avaliações educacionais: diretrizes para pesquisadores. Avaliação Psicológica, Porto Alegre, v. 9, n. 3, p. 421-435, dez. 2010.
ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. Teoria da Resposta ao Item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.
ANDRIOLA, W. B. Psicometria moderna: características e tendências. Estudos em Avaliação Educacional, São Paulo, v. 20, n. 43, p. 319-340, maio/ago. 2009. DOI: https://doi.org/10.18222/eae204320092052
BAKER, F. B. The Basics of Item Response Theory. 2. ed. Washington: ERIC Clearinghouse on Assessment and Evaluation, 2001.
BASS, P. F.; WILSON, J. F.; GRIFFITH, C. H. A shortened instrument for literacy screening. Journal of General Internal Medicine, Alexandria, VA, v. 18, n. 12, p. 1036-1038, Dec. 2003. DOI: https://doi.org/10.1111/j.1525-1497.2003.10651.x
BRASIL. Portaria n. 807, de 18 de junho de 2010. Instituir o Exame Nacional do Ensino Médio (Enem) como procedimento de avaliação cujo objetivo é aferir se o participante do Exame, ao final do ensino médio, demonstra domínio dos princípios científicos e tecnológicos que presidem a produção moderna e conhecimento das formas contemporâneas de linguagem. Diário Oficial da União, Brasília, DF, 21 jun. 2010. Seção 1, p. 71.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Exame Nacional do Ensino Médio (Enem): fundamentação teórico-metodológica. Brasília, DF: Inep, 2005.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Enem: relatório pedagógico 2004. Brasília, DF: MEC/Inep, 2007.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Microdados. Brasília, DF: Inep/MEC, 2016. Disponível em: Acesso em: 3 mar. 2016.
CRONBACH, L. J. Coefficient alpha and the internal structure of tests. Psychometrika, Madison, LA, v. 16, n. 3, p. 297-334, Sep. 1951. DOI: https://doi.org/10.1007/BF02310555
FINI, M. E. Erros e acertos na elaboração de itens para a prova do Enem. In: BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Exame Nacional do Ensino Médio (Enem): fundamentação teórico- -metodológica. Brasília, DF: Inep, 2005. p. 101-105.
GILLEARD, C.; GROOM, F. A study of two dementia quizzes. British Journal of Clinical Psychology, New Jersey, v. 33, n. 4, p. 529-534, Nov. 1994. DOI: https://doi.org/10.1111/j.2044-8260.1994.tb01149.x
GOMES, C. M. A. Avaliando a avaliação escolar: notas escolares e inteligência fluida. Psicologia em Estudo, Maringá, PR, v. 15, n. 4, p. 841-849, out./dez. 2010. DOI: https://doi.org/10.1590/S1413-73722010000400020
HUDSON, T. Relationships among IRT item discrimination and item fit indices in criterion-referenced language testing. Language Testing, Londres, v. 8, n. 2, p. 160-181, 1 dez. 1991. DOI: https://doi.org/10.1177/026553229100800205
KARINO, C. A.; BARBOSA, M. T. S. Nota técnica: procedimento de cálculo das notas do Enem. Brasília, DF: Inep, 2012. Disponível em: . Acesso em: 1 maio 2016.
KARTAL, A. et al. Validity and reliability study of the Turkish version of Health Belief Model Scale in diabetic patients. International journal of nursing studies, Amsterdam, v. 44, n. 8, p. 1447-1458, Nov. 2007. DOI: https://doi.org/10.1016/j.ijnurstu.2007.06.004
KLEIN, R. Alguns aspectos da Teoria de Resposta ao Item relativos à estimação das proficiências. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 21, n. 78, p. 35-56, jan./mar. 2013. DOI: https://doi.org/10.1590/S0104-40362013005000003
KUDER, G. F.; RICHARDSON, M. W. The theory of the estimation of test reliability. Psychometrika, Madison, v. 2, n. 3, p. 151-160, Sep. 1937. DOI: https://doi.org/10.1007/BF02288391
LOPES, F. L.; VENDRAMINI, C. M. M. Propriedades psicométricas das provas de pedagogia do Enade via TRI. Avaliação: Revista da Avaliação da Educação Superior, Campinas, SP, v. 20, n. 1, p. 27-47, mar. 2015.
MARTÍNEZ ARIAS, R. Usos, aplicaciones y problemas de los modelos de valor añadido en educación. Revista de Educación, Madrid, v. 348, p. 217-250, enero/abr. 2009.
MASTERS, G. N. Item discrimination: when more is worse. Journal of Educational Measurement, New Jersey, v. 25, n. 1, p. 15-29, Mar. 1988. DOI: https://doi.org/10.1111/j.1745-3984.1988.tb00288.x
MORRIS, A. Student Standardised Testing: Current Practices in OECD Countries and a Literature Review. Paris: OECD, Out. 2011. 51 p. (OECD Education Working Papers, n. 65).
MUTHÉN, B. O.; KAO, C. F.; BURSTEIN, L. Instructionally Sensitive Psychometrics: Application of a New IRT – Based Detection Technique to Mathematics Achievement Test Items. Journal of Educational Measurement, New Jersey, v. 28, n. 1, p. 1-22, Mar. 1991. DOI: https://doi.org/10.1111/j.1745-3984.1991.tb00340.x
PASQUALI, L. Psicometria. Revista da Escola de Enfermagem da USP, São Paulo, v. 43, n. Especial, p. 992-999, dez. 2009. DOI: https://doi.org/10.1590/S0080-62342009000500002
PRIMI, R.; HUTZ, C. S.; SILVA, M. C. R. da. A prova do Enade de Psicologia 2006: concepção, construção e análise psicométrica da prova. Avaliação Psicológica, Itatiba, SP, v. 10, n. 3, p. 271-294, dez. 2011.
REVELLE, W. Psych: Procedures for Personality and Psychological Research. 1.6.12. Evanston, IL: Northwestern University, 2016. Download. Disponível em: <http://cran.r-project.org/package=psych>. Acesso em: 2 abr. 2017.
RIZOPOULOS, D. ltm: an R package for Latent Variable Modelling and Item Response Theory Analyses. Journal of Statistical Software, Innsbruck, AT, v. 17, n. 5, p. 1-25, Nov. 2006. DOI: https://doi.org/10.18637/jss.v017.i05
ROACH, A. J.; FRAZIER, L. P.; BOWDEN, S. R. The marital satisfaction scale: development of a measure for intervention research. Journal of Marriage and the Family, New Jersey, v. 43, n. 3, p. 537-546, Ago. 1981. DOI: https://doi.org/10.2307/351755
SCHMITT, N. Uses and abuses of coefficient alpha. Psychological Assessment, Washington, v. 8, n. 4, p. 350-353, Dec. 1996. DOI: https://doi.org/10.1037//1040-3590.8.4.350
SEVERO, M.; TAVARES, M. A. F. Metaevaluation in clinical anatomy: a practical application of item response theory in multiple choice examinations. Anatomical Sciences Education, New Jersey, v. 3, n. 1, p. 17-24, Nov. 2010. DOI: https://doi.org/10.1002/ase.118
SOARES, T. M. Utilização da Teoria da Resposta ao Item na produção de indicadores sócio-econômicos. Pesquisa operacional, Rio de Janeiro, v. 25, n. 1, p. 83-112, jan./abr. 2005. DOI: https://doi.org/10.1590/S0101-74382005000100006
STUFFLEBEAM, D. L. The Metaevaluation Imperative. American Journal of Evaluation, Washington, DC, v. 22, n. 2, p. 183-209, jun. 2001. DOI: https://doi.org/10.1016/S1098-2140(01)00127-8
TRAVITZKI, R. Enem: limites e possibilidades do Exame Nacional do Ensino Médio enquanto indicador de qualidade escolar. 2013. Tese (Doutorado em Educação) – Universidade de São Paulo, São Paulo, 2013a.
TRAVITZKI, R. Qualidade técnica dos itens do Enem 2009. In: REUNIÃO DA ASSOCIAÇÃO BRASILEIRA DE AVALIAÇÃO DA EDUCAÇÃO, 7., 2013, Brasília, DF. Avaliação e currículo: um diálogo necessário. Anais... Brasília, DF, 2013b.
ZAICHKOWSKY, J. L. The Personal Involvement Inventory: Reduction, Revision, and Application to Advertising. Journal of Advertising, Abingdon, v. 23, n. 4, p. 59-70, Dez. 1994. DOI: https://doi.org/10.1080/00913367.1943.10673459
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2017 Rodrigo Travitzki
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.
a. Los autores mantienen los derechos de autor y conceden a la revista el derecho de primera publicación.
b. Todos los trabajos están licenciados bajo la Licencia Creative Commons Attribution, que permite compartir el trabajo con reconocimiento de la autoría.
Hasta 2024, Estudos em Avaliação Educacional adoptó la licencia Creative Commons Atribución-NoComercial (CC BY-NC) para sus publicaciones. Para los textos publicados a partir de 2025, utilizará la licencia Creative Commons Atribución (CC BY), en consonancia con los principios de la Ciencia Abierta.
