Avaliação da qualidade do Enem 2009 e 2011 com técnicas psicométricas
DOI:
https://doi.org/10.18222/eae.v28i67.3910Palavras-chave:
Meta-avaliação, Psicometria, Avaliação em Larga Escala, Enem.Resumo
Foi realizada uma meta-avaliação do Exame Nacional do Ensino Médio (Enem) de 2009 e 2011, aplicando-se técnicas psicométricas em 2.025.268 provas. Algumas técnicas foram exemplificadas com a apresentação da análise do conteúdo de itens, mostrando sua utilidade aos educadores. Comparou-se indicadores relacionados à prova (coeficiente α e correlação interitem média), mas principalmente relativos aos itens (correlação item-total, coeficiente bisserial – CB –, discriminação e ajuste do modelo logístico de dois parâmetros). A prova de Matemática de 2009 apresentou confiabilidade insuficiente (α < 0,6). As provas de Linguagens e Códigos e Ciências Humanas apresentaram, nos dois anos, melhores indicadores de qualidade. Ao todo, foram encontrados 25% de itens com comportamento empírico fora do esperado em 2009, e 17% em 2011.
Downloads
Referências
ALNABHAN, M.; HARWELL, M. Psychometric challenges in developing a college admission test for Jordan. Social Behavior and Personality: an international journal, Palmerston North, NZ, v. 29, n. 5, p. 445-458, jan. 2001.
AMERICAN EDUCATIONAL RESEARCH ASSOCIATION; AMERICAN PSYCHOLOGICAL ASSOCIATION; NATIONAL COUNCIL ON MEASUREMENT IN EDUCATION. Standards for educational and psychological testing. Washington: American Educational Research Association, 2014.
ANDRADE, D. F.; KARINO, C. A. Nota técnica: Teoria de Resposta ao Item (TRI). Brasília, DF: Inep, 2011. Disponível em: <http://download.inep.gov.br/educacao_basica/enem/nota_tecnica/2011/nota_tecnica_tri_enem_18012012. pdf>. Acesso em: 9 maio 2013.
ANDRADE, D. F.; KLEIN, R. Aspectos quantitativos da análise dos itens da prova do Enem. In: BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Exame Nacional do Ensino Médio (Enem): fundamentação teórico-metodológica. Brasília, DF: Inep, 2005. p. 107-112.
ANDRADE, J. M.; LAROS, J. A.; GOUVEIA, V. V. O uso da Teoria de Resposta ao Item em avaliações educacionais: diretrizes para pesquisadores. Avaliação Psicológica, Porto Alegre, v. 9, n. 3, p. 421-435, dez. 2010.
ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. Teoria da Resposta ao Item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.
ANDRIOLA, W. B. Psicometria moderna: características e tendências. Estudos em Avaliação Educacional, São Paulo, v. 20, n. 43, p. 319-340, maio/ago. 2009.
BAKER, F. B. The Basics of Item Response Theory. 2. ed. Washington: ERIC Clearinghouse on Assessment and Evaluation, 2001.
BASS, P. F.; WILSON, J. F.; GRIFFITH, C. H. A shortened instrument for literacy screening. Journal of General Internal Medicine, Alexandria, VA, v. 18, n. 12, p. 1036-1038, Dec. 2003.
BRASIL. Portaria n. 807, de 18 de junho de 2010. Instituir o Exame Nacional do Ensino Médio (Enem) como procedimento de avaliação cujo objetivo é aferir se o participante do Exame, ao final do ensino médio, demonstra domínio dos princípios científicos e tecnológicos que presidem a produção moderna e conhecimento das formas contemporâneas de linguagem. Diário Oficial da União, Brasília, DF, 21 jun. 2010. Seção 1, p. 71.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Exame Nacional do Ensino Médio (Enem): fundamentação teórico-metodológica. Brasília, DF: Inep, 2005.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Enem: relatório pedagógico 2004. Brasília, DF: MEC/Inep, 2007.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Microdados. Brasília, DF: Inep/MEC, 2016. Disponível em: Acesso em: 3 mar. 2016.
CRONBACH, L. J. Coefficient alpha and the internal structure of tests. Psychometrika, Madison, LA, v. 16, n. 3, p. 297-334, Sep. 1951.
FINI, M. E. Erros e acertos na elaboração de itens para a prova do Enem. In: BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Exame Nacional do Ensino Médio (Enem): fundamentação teórico- -metodológica. Brasília, DF: Inep, 2005. p. 101-105.
GILLEARD, C.; GROOM, F. A study of two dementia quizzes. British Journal of Clinical Psychology, New Jersey, v. 33, n. 4, p. 529-534, Nov. 1994.
GOMES, C. M. A. Avaliando a avaliação escolar: notas escolares e inteligência fluida. Psicologia em Estudo, Maringá, PR, v. 15, n. 4, p. 841-849, out./dez. 2010.
HUDSON, T. Relationships among IRT item discrimination and item fit indices in criterion-referenced language testing. Language Testing, Londres, v. 8, n. 2, p. 160-181, 1 dez. 1991.
KARINO, C. A.; BARBOSA, M. T. S. Nota técnica: procedimento de cálculo das notas do Enem. Brasília, DF: Inep, 2012. Disponível em: . Acesso em: 1 maio 2016.
KARTAL, A. et al. Validity and reliability study of the Turkish version of Health Belief Model Scale in diabetic patients. International journal of nursing studies, Amsterdam, v. 44, n. 8, p. 1447-1458, Nov. 2007.
KLEIN, R. Alguns aspectos da Teoria de Resposta ao Item relativos à estimação das proficiências. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 21, n. 78, p. 35-56, jan./mar. 2013.
KUDER, G. F.; RICHARDSON, M. W. The theory of the estimation of test reliability. Psychometrika, Madison, v. 2, n. 3, p. 151-160, Sep. 1937.
LOPES, F. L.; VENDRAMINI, C. M. M. Propriedades psicométricas das provas de pedagogia do Enade via TRI. Avaliação: Revista da Avaliação da Educação Superior, Campinas, SP, v. 20, n. 1, p. 27-47, mar. 2015.
MARTÍNEZ ARIAS, R. Usos, aplicaciones y problemas de los modelos de valor añadido en educación. Revista de Educación, Madrid, v. 348, p. 217-250, enero/abr. 2009.
MASTERS, G. N. Item discrimination: when more is worse. Journal of Educational Measurement, New Jersey, v. 25, n. 1, p. 15-29, Mar. 1988.
MORRIS, A. Student Standardised Testing: Current Practices in OECD Countries and a Literature Review. Paris: OECD, Out. 2011. 51 p. (OECD Education Working Papers, n. 65).
MUTHÉN, B. O.; KAO, C. F.; BURSTEIN, L. Instructionally Sensitive Psychometrics: Application of a New IRT – Based Detection Technique to Mathematics Achievement Test Items. Journal of Educational Measurement, New Jersey, v. 28, n. 1, p. 1-22, Mar. 1991.
PASQUALI, L. Psicometria. Revista da Escola de Enfermagem da USP, São Paulo, v. 43, n. Especial, p. 992-999, dez. 2009.
PRIMI, R.; HUTZ, C. S.; SILVA, M. C. R. da. A prova do Enade de Psicologia 2006: concepção, construção e análise psicométrica da prova. Avaliação Psicológica, Itatiba, SP, v. 10, n. 3, p. 271-294, dez. 2011.
REVELLE, W. Psych: Procedures for Personality and Psychological Research. 1.6.12. Evanston, IL: Northwestern University, 2016. Download. Disponível em: <http://cran.r-project.org/package=psych>. Acesso em: 2 abr. 2017.
RIZOPOULOS, D. ltm: an R package for Latent Variable Modelling and Item Response Theory Analyses. Journal of Statistical Software, Innsbruck, AT, v. 17, n. 5, p. 1-25, Nov. 2006.
ROACH, A. J.; FRAZIER, L. P.; BOWDEN, S. R. The marital satisfaction scale: development of a measure for intervention research. Journal of Marriage and the Family, New Jersey, v. 43, n. 3, p. 537-546, Ago. 1981.
SCHMITT, N. Uses and abuses of coefficient alpha. Psychological Assessment, Washington, v. 8, n. 4, p. 350-353, Dec. 1996.
SEVERO, M.; TAVARES, M. A. F. Metaevaluation in clinical anatomy: a practical application of item response theory in multiple choice examinations. Anatomical Sciences Education, New Jersey, v. 3, n. 1, p. 17-24, Nov. 2010.
SOARES, T. M. Utilização da Teoria da Resposta ao Item na produção de indicadores sócio-econômicos. Pesquisa operacional, Rio de Janeiro, v. 25, n. 1, p. 83-112, jan./abr. 2005.
STUFFLEBEAM, D. L. The Metaevaluation Imperative. American Journal of Evaluation, Washington, DC, v. 22, n. 2, p. 183-209, jun. 2001.
TRAVITZKI, R. Enem: limites e possibilidades do Exame Nacional do Ensino Médio enquanto indicador de qualidade escolar. 2013. Tese (Doutorado em Educação) – Universidade de São Paulo, São Paulo, 2013a.
TRAVITZKI, R. Qualidade técnica dos itens do Enem 2009. In: REUNIÃO DA ASSOCIAÇÃO BRASILEIRA DE AVALIAÇÃO DA EDUCAÇÃO, 7., 2013, Brasília, DF. Avaliação e currículo: um diálogo necessário. Anais... Brasília, DF, 2013b.
ZAICHKOWSKY, J. L. The Personal Involvement Inventory: Reduction, Revision, and Application to Advertising. Journal of Advertising, Abingdon, v. 23, n. 4, p. 59-70, Dez. 1994.
Downloads
Publicado
Como Citar
Edição
Seção
Licença
Copyright (c) 2017 Estudos em Avaliação Educacional
Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial 4.0 International License.
Autores que publicam nesta revista concordam com os seguintes termos:
a. Autores mantém os direitos autorais e concedem à revista o direito de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons BY-NC do tipo "Atribuição Não Comercial" que permite o compartilhamento do trabalho com reconhecimento da autoria e publicação inicial nesta revista.
b. Autores têm autorização para assumir contratos adicionais separadamente, para distribuição não-exclusiva da versão do trabalho publicada nesta revista (ex.: publicar em repositório institucional ou como capítulo de livro), com reconhecimento de autoria e publicação inicial nesta revista.
c. Autores têm permissão e são estimulados a publicar e distribuir seu trabalho online (ex.: em repositórios institucionais ou na sua página pessoal) a qualquer ponto antes ou durante o processo editorial, já que isso pode gerar alterações produtivas, bem como aumentar o impacto e a citação do trabalho publicado (Veja O Efeito do Acesso Livre).
