Indicadores cualitativos en la evaluación de posgrado en educación
DOI:
https://doi.org/10.18222/eae.v35.10777Palabras clave:
Evaluación de la Educación, Postgrado, Políticas Educativas, Evaluación a Gran EscalaResumen
En este artículo se analiza la evaluación del posgrado en el Área de Educación de la Coordenação de Aperfeiçoamento de Pessoal de Nível Superior [Coordinación de Mejora de Personal de Nivel Superior] entre 2017 y 2020, destacando los cambios resultantes de la ampliación del uso de indicadores cualitativos. Luego de la contextualización de la evaluación y la discusión de los aspectos teóricos sobre el tema, se describe el proceso adoptado para la objetivación de la evaluación y los resultados obtenidos mediante análisis de regresión del comportamiento de los indicadores cuantitativos y cualitativos en la definición de las notas de los programas del área. Se propone la reducción del número de indicadores, la valorización de los indicadores cualitativos como fuentes para el feedback necesario para la mejoría del programa, y la adopción de procesos de objetivación derivados de la construcción de criterios evaluativos que parametricen el trabajo de la evaluación.
Descargas
Citas
Barreto, J. A. E. (1993). Avaliação: Mitos e armadilhas. Ensaio: Avaliação e Políticas Públicas em Educação, 1, 45-54.
Biagioli, M. (2018). Quality to impact, text to metadata: Publication and evaluation in the age of metrics. KNOW: A Journal on the Formation of Knowledge, 2(2), 249-275. https://doi.org/10.1086/699152 DOI: https://doi.org/10.1086/699152
Borsboom, D., Mellenbergh, G. J., & Heerden, J. van. (2004). The concept of validity. Psychological Review, 111(4), 1061-1071. https://doi.org/10.1037/0033-295x.111.4.1061 DOI: https://doi.org/10.1037/0033-295X.111.4.1061
Brasil, A. (2023). Advancing the evaluation of graduate education: Towards a multidimensional model in Brazil. Universiteit Leiden.
Castro, C. de M. (2006). A Capes na visão de um ex-diretor. Análise, 17(2), 360-376.
Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). (2021). Equivalência entre conceitos e notas. https://www.gov.br/capes/pt-br/centrais-de-conteudo/documentos/avaliacao/2021.04.05_RelatrioGTequivalenciaconceitosnotasversoformatadaV3.pdf
Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). (2022). Relatório de avaliação de Área de Educação. https://www.gov.br/capes/pt-br/centrais-de-conteudo/ documentos/avaliacao/19122022_RELATORIO_AVALIACAO_QUADRIENAL_ comnotaEducao.pdf
Fórum de Coordenadores de Programas de Pós-Graduação em Educação (Forpred). (2017). Carta de Fortaleza. (Documento não publicado).
Gatti, B., Andre, M., Favero, O., & Candau, V. M. F. (2003). O modelo de avaliação da Capes. Revista Brasileira de Educação, 22, 137-144. https://doi.org/10.1590/S1413-24782003000100012 DOI: https://doi.org/10.1590/S1413-24782003000100012
Gomez, M. N. G. de. (2014). Da questão da validade ao julgamento de valor: Mediação informacional da avaliação científica. In Anais do 15. Encontro Nacional de Pesquisadores em Ciência da Informação.
Khandker, S. R., Koolwal, G. B., & Samad, H. A. (2009). Handbook on impact evaluation: Quantitative methods and practices. World Bank Publications. DOI: https://doi.org/10.1596/978-0-8213-8028-4
Klecka, W. R. (1980). Discriminant analysis. Sage. DOI: https://doi.org/10.4135/9781412983938
Lamont, M. (2012). Toward a comparative sociology of valuation and evaluation. Annual Review of Sociology, 38(1), 201-221. https://doi.org/10.1146/annurev-soc-070308-120022 DOI: https://doi.org/10.1146/annurev-soc-070308-120022
Leite, D., Verhine, R. E., Dantas, L. M. V., & Bertolin, J. C. D. (2020). A autoavaliação na pós- -graduação (PG) como componente do processo avaliativo Capes. Avaliação: Revista da Avaliação da Educação Superior, 25(2), 339-353. https://doi.org/10.1590/S1414-4077/S1414-40772020000200006 DOI: https://doi.org/10.1590/s1414-4077/s1414-40772020000200006
Minayo, M. C. de S. (2009). Construção de indicadores qualitativos para avaliação de mudanças. Revista Brasileira de Educação Médica, 33(Supl. 1), 83-91. http://educa.fcc.org.br/pdf/rbem/v33s01/v33s01a09.pdf DOI: https://doi.org/10.1590/S0100-55022009000500009
Moreira, C. O. F., Hortale, V. A., & Hartz, Z. M. A. (2004). Avaliação da pós-graduação: Buscando consenso. Revista Brasileira de Pós-Graduação, 1(1), 26-40. https://www.arca.fiocruz.br/handle/icict/60206
Patton, M. Q. (1999). Enhancing the quality and credibility of qualitative analysis. Health Services Research, 34(5 Pt 2), 1189-1208.
Portaria n. 122, de 5 de agosto de 2021. (2021). Consolida os parâmetros e os procedimentos gerais da Avaliação Quadrienal de Permanência da pós-graduação stricto sensu no Brasil. Brasília, DF. http://cad.capes.gov.br/ato-administrativo-detalhar?idAtoAdmElastic=6742
Porter, T. M. (1995). Quantification and the accounting ideal in science. Social Studies in Science, 22(4), 633-652. https://www.jstor.org/stable/285458 DOI: https://doi.org/10.1177/030631292022004004
Reckase, M. D. (2023). The psychometrics of standard setting: Connecting policy and test scores. CRC Press. DOI: https://doi.org/10.1201/9780429156410
Richie, J., & Lewis, J. (Eds.) (2003). Qualitative research practice: A guide to social science students and researchers. Sage.
Secchi, L. (2014). Instrumentos de políticas públicas. In R. F. Boullosa (Org.), Dicionário para a formação em gestão social (pp. 103-105). CIAGS/UFBA.
Sguissardi, V. (2006). A avaliação defensiva no “modelo Capes de avaliação”: É possível conciliar avaliação educativa com processos de regulação e controle do Estado? Perspectiva, 24(1), 49-88. http://educa.fcc.org.br/pdf/rp/v24n01/v24n01a03.pdf
Spagnolo, F., & Calhau, M. G. (2002). Observadores internacionais avaliam a avaliação da Capes. Infocapes, 10(1), 7-34.
Stufflebeam, D., & Shinkfield, A. J. (2007). Evaluation theory, models and applications. HB Printing.
Tierney, R., & Simon, M. (2004). What’s still wrong with rubrics: Focusing on the consistency of performance criteria across scale levels. Practical Assessment, Research, and Evaluation, 9(1), Article 2. https://doi.org/10.7275/jtvt-wg68
Todeschini, R., & Baccini, A. (2016). Handbook of bibliometric indicators: Quantitative tools for studying and evaluating research. John Wiley & Sons. DOI: https://doi.org/10.1002/9783527681969
ToloData. (2021). Qualitative indicators and their relevance in monitoring and evaluation. https://www.toladata.com/blog/qualitative-indicators-and-their-relevance-in-monitoring-and-evaluation/
Tufte, E. R. (1974). Data analysis for politics and policy. Prentice-Hall.
United States Agency for International Development (Usaid). (2005). Handbook on qualitative indicators. https://pdf.usaid.gov/pdf_docs/PNAEB361.pdf
Worthen, B. R., Sanders, J. R., & Fitzpatrick, J. L. (2004). Avaliação de programas: Concepções e práticas. Gente.
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2024 Estudos em Avaliação Educacional
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.
Los autores que publican en esta revista concuerdan con los siguientes términos:
a. Los autores mantienen los derechos de autor y conceden a la revista el derecho de primera publicación, con el trabajo licenciado, simultáneamente, bajo la Licencia Creative Commons Attribution que permite compartir el trabajo con reconocimiento de la autoría y publicación inicial en esta revista.
b. Los autores tienen autorización para asumir, separadamente, contratos adicionales, para distribución no exclusiva de la versión del trabajo publicada en esta revista (ej.: publicar en repositorio institucional o como capítulo de libro), con reconocimiento de la autoría y publicación inicial en esta revista.
c. Los autores tienen autorización y son estimulados para publicar y distribuir sus trabajos on-line (ej.: en repositorios institucionales o en su respectiva página personal en la Internet) en cualquier fecha antes o durante el proceso editorial, ya que esto puede generar modificaciones productivas, así como aumentar el impacto y las citas del trabajo publicado (Véase: El Efecto del Acceso Libre).
