Analysis of the dimensionality of the 2017 Enade for the Mathematics Teacher Education Program

Authors

DOI:

https://doi.org/10.18222/eae.v36.10600

Keywords:

Higher Education Assessment, Teaching Degree, Mathematics, Bidimensional Latent Trait

Abstract

The aim of this study was to evaluate the specific and multiple-choice items of the 2017 Exame Nacional de Desempenho dos Estudantes [National Student Performance Exam] (Enade) for the Mathematics Teacher Education Program in terms of the latent trait dimensions of knowledge for teaching mathematics. Data, collected from 10,869 participants, were analyzed using Item Response Theory, Classical Test Theory, and Exploratory Factor Analysis, revealing an assessment with high discriminative capacity and moderate levels of difficulty. Furthermore, the identified patterns indicate that the bidimensional model is appropriate, as the exam consisted of items associated with both pedagogical knowledge and specific knowledge of mathematics, providing a more comprehensive assessment of students’ skills in this field.

Downloads

Download data is not yet available.

Author Biographies

Sandra Cristina Martini Rostirola, Instituto Federal Catarinense (IFC), Videira-SC, Brasil

Doutora em Educação pela Universidade do Estado de Santa Catarina (Udesc), mestra em Ensino de Ciências, Matemática e Tecnologias pela Udesc e licenciada em Matemática pela Universidade do Oeste de Santa Catarina (Unoesc), com especialização em Educação Matemática pela IFC. Técnica em Assuntos Educacionais no IFC, atua nas área de ensino, pesquisa e extensão, com foco em educação matemática inclusiva, estatística e inteligência artificial generativa na formação docente.

Elisa Henning, Universidade do Estado de Santa Catarina (Udesc), Joinville-SC, Brasil

Possui graduação em Engenharia Civil pela Udesc, mestrado em Engenharia Ambiental pela Universidade Federal de Santa Catarina (UFSC), especialização em Matemática e Estatística pela Universidade Federal de Lavras (UFLA), especialização em Ciência de Dados pela Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS), mestrado em Estatística pela Universidade Aberta de Portugual (UAb) e doutorado em Engenharia de Produção pela UFSC. Professora efetiva da Udesc, atua na graduação e pós-graduação. Desenvolve pesquisas nas área de estatística aplicada, sustentabilidade e ensino.

Ivanete Zuchi Siple, Universidade do Estado de Santa Catarina (Udesc), Joinville-SC, Brasil

Doutora em Engenharia de Produção pela Universidade Federal de Santa Catarina (UFSC). Professora do Departamento de Matemática e do Programa de Pós-Graduação em Ciências, Matemática e Tecnologias da Udesc. 

Dalton Francisco de Andrade, Universidade Federal de Santa Catarina (UFSC), Florianópolis-SC, Brasil

Graduação em licenciatura em Matemática e mestrado em Estatística pela Universidade de São Paulo (USP) e PhD em Biostatistics pela University of North Carolina at Chapel Hill (UNC). Professor titular da UFSC, com atuação na área de estatística, com ênfase em análise de dados, atuando nos seguintes temas: teoria da resposta ao item, avaliação educacional, modelos de variável latente, dados longitudinais e modelos hierárquicos lineares e não lineares.

References

Alves, K. T. (2020). Análise das propriedades psicométricas da prova de conhecimentos específicos de licenciatura em ciências biológicas no Enade 2017 [Dissertação de mestrado profissional, Universidade Federal de Santa Catarina]. Repositório Institucional da UFSC. https://repositorio.ufsc.br/handle/123456789/216664

Andrade, D. F. de, & Bornia, C. (2021, agosto-julho). Construção de escalas por meio da TRI [Notas de aula]. Universidade Federal de Santa Catarina.

Andrade, D. F. de, Tavares, H. R., & Valle, R. da C. (2000). Teoria da Resposta ao Item: Conceitos e aplicações. Sinape.

Baker, F. B. (2001). The basics of item response theory (2nd ed.). Eric.

Baker, F. B., & Kim, S.-H. (2007). The basics of Item Response Theory using R. Springer.

Barbetta, P. A., Trevisan, L. M. V., Tavares, H., & Azevedo, T. C. A. de M. (2014). Aplicação da Teoria da Resposta ao Item uni e multidimensional. Estudos em Avaliação Educacional, 25(57), 280-302. https://doi.org/10.18222/eae255720142832 DOI: https://doi.org/10.18222/eae255720142832

Barros, F. R. de, & Ferreira, M. A. (2023). Avaliação da educação superior no Brasil: Uma revisão sistemática da literatura e agenda futura. Educationis, 11(2), 1-12. https://doi.org/10.6008/CBPC2318-3047.2023.002.0001 DOI: https://doi.org/10.6008/CBPC2318-3047.2023.002.0001

Beaton, A. E., & Allen, N. L. (1992). Interpreting scales through scale anchoring. Journal of Educational Statistics, 17(2), 191-204. https://doi.org/10.2307/1165169 DOI: https://doi.org/10.3102/10769986017002191

Brown, T. A. (2015). Confirmatory factor analysis for applied research. Guilford.

Cervantes, V. H. (2005). Interpretaciones del coeficiente alpha de Cronbach. Avances en Medición, 3, 9-28. https://www.humanas.unal.edu.co/lab_psicometria/application/files/8416/0463/3536/Vol_3._Articulo_1_Alfa_de_Cronbach_9-28_2.pdf

Chalmers, R. P. (2016). Generating adaptive and non-adaptive test interfaces for multidimensional item response theory applications. Journal of Statistical Software, 71(5), 1-38. https://doi.org/10.18637/jss.v071.i05 DOI: https://doi.org/10.18637/jss.v071.i05

Cordazzo, E. G., Zanin, A., & Santos, E. A. dos. (2023). Contribuições para melhoria dos indicadores do Enade: Um estudo com coordenadores de cursos de graduação. Avaliação: Revista da Avaliação da Educação Superior, 28, Artigo e023008. https://doi.org/10.1590/S1414-40772023000100008 DOI: https://doi.org/10.1590/s1414-40772023000100008

Coutinho, L. de A. (2013). Ferramenta para estimar a proficiência de indivíduos baseada na teoria de resposta ao item [Dissertação de mestrado, Universidade Estadual do Maranhão]. UEMA Repositório. https://repositorio.uema.br/jspui/handle/123456789/535

Ebel, R. L. (1954). Procedures for the analysis of classroom tests. Educational and Psychological Measurement, 14(2), 352-364. https://doi.org/10.1177/001316445401400215 DOI: https://doi.org/10.1177/001316445401400215

Emiliano, P. C. (2009). Fundamentos e aplicação dos critérios de informação: Akaike e bayesiano [Dissertação de mestrado]. Universidade Federal de Lavras.

Engel, A. M. (2024). Escala de proficiência em conhecimentos específicos dos discentes concluintes de licenciatura em matemática: Uma aplicação da teoria da resposta ao item [Dissertação de mestrado]. Universidade Federal de Santa Catarina.

Erthal, T. C. (2009). Manual de psicometria (8ª ed.). Zahar.

Hair, J. F., Jr., Black, W. C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2009). Análise multivariada de dados (A. S. Sant’Anna, Trad.; 6ª ed.). Bookman.

Hongyu, K. (2018). Análise fatorial exploratória: Resumo teórico, aplicação e interpretação. E&S Engineering and Science, 7(4), 88-103. https://doi.org/10.18607/ES201877599 DOI: https://doi.org/10.18607/ES201877599

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2017a). Portaria Inep n. 508 de 6 de junho de 2017. MEC. https://download.inep.gov.br/educacao_superior/Enade/legislacao/2017/matematica_licenciatura_-_portaria_n_508_de_6_de_junho_de_2017.pdf

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2017b). Relatório síntese de área: Matemática (Bacharelado/Licenciatura). MEC. https://download.inep.gov.br/educacao_superior/enade/relatorio_sintese/2017/Matematica.pdf

Knüpfer, R. E. N., Amaral, A. do, & Henning, E. (2016). Análise clássica de testes: Uma proposta de análise de desempenho dos estudantes na primeira fase da OBMEP. In Anais do II Colóquio Luso-Brasileiro de Educação (Colbeduca). Udesc; UMinho. https://eventos.udesc.br/ocs/index.php/COLBEDUCA/COLBEDUCA2016/paper/viewFile/2063/1602

Lei n. 10.861, de 14 de abril de 2004. (2004). Institui o Sistema Nacional de Avaliação da Educação Superior – Sinaes e dá outras providências. Brasília, DF. http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.861.htm

Marinho-Araujo, C. M., & Rabelo, M. L. (2015). Avaliação educacional: A abordagem por competências. Avaliação: Revista da Avaliação da Educação Superior, 20(2), 443-466. https://www.scielo.br/j/aval/a/gz8crLXnbW33bgZN5P4zjMp/?format=pdf&lang=pt

Matos, D. A. S., & Rodrigues, E. C. (2019). Análise fatorial. Enap. http://repositorio.enap.gov.br/handle/1/4790

Mejía-Rodríguez, D. L., & Mejía-Leguía, E. J. (2021). Evaluación y calidad educativa: Avances, limitaciones y retos actuales. Revista Electrónica Educare, 25(3), 1-14. http://doi.org/10.15359/ree.25-3.38 DOI: https://doi.org/10.15359/ree.25-3.38

Ministério da Educação (MEC). (2022). Catálogo nacional de cursos superiores de tecnologia (4ª ed.). MEC. https://www.ifpb.edu.br/pre/educacao-superior/legislacao-e-normas/Arquivos/catalogo-nacional-dos-cusros-de-tecnologia-2022.pdf

Nogueira, S. de O. (2008). Enade: Análise de itens de Formação Geral e de Estatística pela TRI [Dissertação de mestrado, Universidade São Francisco]. USF. https://www.usf.edu.br/galeria/getImage/385/6974541869235604.pdf

Nojosa, R. T. (2001). Modelos multidimensionais para a Teoria da Resposta ao Item [Dissertação de mestrado]. Universidade Federal de Pernambuco.

Pasquali, L. (2018). TRI – Teoria de Resposta ao Item: Teoria, procedimentos e aplicações. Appris.

Polidori, M. M. (2009). Políticas de avaliação da educação superior brasileira: Provão, Sinaes, IDD, CPC, IGC e... outros índices. Avaliação: Revista da Avaliação da Educação Superior, 14(2), 439-452. https://doi.org/10.1590/S1414-40772009000200009 DOI: https://doi.org/10.1590/S1414-40772009000200009

R Core Team. (2022). R: A language and environment for statistical computing [Software for statistical computing and graphics]. R Foundation for Statistical Computing. Recuperado em 21 de agosto de 2025, de https://www.R-project.org/

Rabelo, M. (2013). Avaliação educacional: Fundamentos, metodologia e aplicações no contexto brasileiro. SBEM.

Reckase, M. D. (1979). Unifactor latent trait models applied to multifactor tests: Results and implications. Journal of Educational Statistics, 4(3), 207-230. https://doi.org/10.2307/1164671 DOI: https://doi.org/10.3102/10769986004003207

Revelle, W. (2017). Package ‘psych’: Procedures for personality and psychological research [Manual]. https://personality-project.org/r/psych-manual.pdf

Shulman, L. S. (1986). Those who understand: Knowledge growth in teaching. Educational Researcher, 15(2), 4-14. https://www.jstor.org/stable/1175860 DOI: https://doi.org/10.3102/0013189X015002004

Soares, T. M. (2005). Utilização da teoria da resposta ao item na produção de indicadores sócio-econômicos. Pesquisa Operacional, 25(1), 83-112. https://doi.org/10.1590/S0101-74382005000100006 DOI: https://doi.org/10.1590/S0101-74382005000100006

Streiner, D. L. (2003). Being inconsistent about consistency: When coefficient alpha does and doesn’t matter. Journal of Personality Assessment, 80(3), 217-222. https://doi.org/10.1207/s15327752jpa8003_01 DOI: https://doi.org/10.1207/S15327752JPA8003_01

Vilarinho, A. P. L. (2015). Uma proposta de análise de desempenho dos estudantes e de valorização da primeira fase da OBMEP [Dissertação de mestrado, Universidade de Brasília]. Repositório Institucional da UnB. http://repositorio.unb.br/handle/10482/19335

Downloads

Published

2025-10-17

How to Cite

Rostirola, S. C. M., Henning, E., Siple, I. Z., & Andrade, D. F. de. (2025). Analysis of the dimensionality of the 2017 Enade for the Mathematics Teacher Education Program. Estudos Em Avaliação Educacional, 36, e10600. https://doi.org/10.18222/eae.v36.10600

Issue

Vol. 36 (2025)

Section

Articles

License

Copyright (c) 2025 Sandra Cristina Martini Rostirola, Elisa Henning, Ivanete Zuchi Siple, Dalton Francisco de Andrade

Creative Commons License

This work is licensed under a Creative Commons Attribution 4.0 International License.

 

a. Authors retain the copyright and grant the journal the right to first publication.

b. All works are licensed under the Creative Commons Attribution License, which allows the sharing of the paper with acknowledgment of authorship.

Until 2024, Estudos em Avaliação Educacional adopted the Creative Commons Attribution-NonCommercial (CC BY-NC) license for its publications. For texts published from 2025 onwards, the journal will adopt the Creative Commons Attribution (CC BY) license, in line with the principles of Open Science.