Educational indicators and school accountability: a study about the “Prêmio Escola Nota Dez”
DOI:
https://doi.org/10.18222/eae.v28i69.4087Keywords:
Educational Indicators, Accountability, Educational Policies, Salary Bonuses.Abstract
The paper focuses on the impact of the use of the School Performance Index – Literacy (IDE-Alfa) by the “Prêmio Escola Nota Dez”, a policy of the State of Ceará, that establishes cut-off points to award and to allocate financial support to public schools. It uses the Propensity Score Matching and multiple regressions methods to observe the effects of the reward/financial support on school performance, equity, and student participation rate on the external assessment of schools awarded and supported from 2009 to 2011, based on schools´ Index of school Performance results (IDE-Alfa) from 2008 to 2010. The results suggest a positive effect on the performance, equity and participation rate of the awarded schools and a smaller, but also positive, effect on performance of the schools with similar characteristics to the awarded ones. The results show a statistically significant impact only on the participation rate of the schools that received financial support.Downloads
References
ALVES, F.; ELACQUA, G.; MARTÍNEZ, M.; SANTOS, H. Efeitos do Plano de Desenvolvimento das Escolas nos resultados escolares. Estudos em Avaliação Educacional, São Paulo, v. 27, n. 64, p. 128-159, jan./abr. 2016. DOI: https://doi.org/10.18222/eae.v27i64.3765
BONAMINO, A.; SOUSA, S. Z. Três gerações de avaliação da educação básica no Brasil: interfaces com o currículo da/na escola. Educação e Pesquisa, São Paulo, v. 38, n. 2, p. 373-388, abr./jun. 2012. DOI: https://doi.org/10.1590/S1517-97022012005000006
BRESOLIN, A. Análise de resultados intermediários das políticas de bônus em escolas públicas estaduais brasileiras. 2014. 172 f. Dissertação (Mestrado em Administração Pública e Governo) – Escola de Administração de Empresas de São Paulo, Fundação Getúlio Vargas, São Paulo, 2014.
BROOKE, N. O futuro das políticas de responsabilização educacional no Brasil. Cadernos de Pesquisa, São Paulo, v. 36, n. 128, p. 377-401, maio/ago. 2006. DOI: https://doi.org/10.1590/S0100-15742006000200006
BROOKE, N. Responsabilização educacional no Brasil. Revista Electrónica de Investigación Educativa, Baja Califórnia, v. 1, n. 1, p. 93-109, jan. 2008. DOI: https://doi.org/10.15366/riee2008.1.1.005
BROOKE, N. Controvérsias sobre políticas de alto impacto. Cadernos de Pesquisa, São Paulo, v. 43, n. 148, p. 336-347, jan./abr. 2013. DOI: https://doi.org/10.1590/S0100-15742013000100017
BROOKE, N.; CUNHA, M. A. A avaliação externa como instrumento da gestão educacional nos estados. Estudos & Pesquisas Educacionais, São Paulo, v. 1, p. 17-79, 2011.
CAMPBELL, D. T.; STANLEY, J. C. Experimental and quasi-experimental designs of research. In: GAGE, N. L. Handbook of research on teaching. Chicago: Rand McNally, 1963.
CANO, I. Introdução à avaliação de programas sociais. São Paulo: FGV, 2002.
CARNEIRO, D. R. F. Políticas de incentivo à escola melhoram a proficiência no ensino fundamental? Uma avaliação do Prêmio Escola Nota Dez. 2015. 41 f. Dissertação (Mestrado em Economia) – Curso de Pós-Graduação em Economia (Caen), Universidade Federal do Ceará, Fortaleza, 2015.
CARNEIRO, D. R. F.; IRFFI, G. Política de incentivos à escola melhora a proficiência no ensino fundamental? Uma avaliação do Prêmio Escola Nota Dez. In: ENCONTRO ECONOMIA DO CEARÁ EM DEBATE, 10., Fortaleza, 2014. Anais... Fortaleza: Instituto de Pesquisa e Estratégia Econômica do Ceará – Ipece –, 2014.
CEARÁ. Lei n. 14.371 de 19 de junho de 2009. Cria o Prêmio Escola Nota Dez, destinado a premiar as escolas públicas com melhor resultado no Índice de Desempenho Escolar-Alfabetização (IDE-alfa), e dá outras providências. Diário Oficial do Estado, Fortaleza, série 3, ano I, n. 111, 19 de junho de 2009a.
CEARÁ. Decreto n. 29.896 de 16 de setembro de 2009. Regulamenta a Lei n. 14.371, de 19 de junho de 2009, que cria o Prêmio Escola Nota Dez, destinado a premiar as escolas públicas com melhor resultado no Índice de Desempenho Escolar-Alfabetização (IDE-Alfa), e dá outras providências. Diário Oficial do Estado, Fortaleza, série 3, ano 1, n. 174, 17 de setembro de 2009b.
CEARÁ. Lei n. 14.580 de 21 de dezembro de 2009. Altera dispositivos da Lei n. 14.371, de 19 de junho de 2009. Diário Oficial do Estado, Fortaleza, série 3, ano 1, n. 241, 28 de dezembro de 2009c.
CEARÁ. Lei n. 15.052 de 6 de dezembro de 2011. Institui o Prêmio Escola Nota Dez, destinado a premiar as escolas públicas com melhores resultados de aprendizagem no segundo e quinto anos de ensino fundamental, e dá outras providências. Diário Oficial do Estado, Fortaleza, série 3, ano III, n. 235, 12 de dezembro de 2011a.
CEARÁ. Lei n. 14.949 de 27 de junho de 2011. Acrescenta dispositivo à Lei n. 14.371/2009 e dá outras providências. Diário Oficial do Estado, Fortaleza, série 3, ano III, n. 127, 5 de julho de 2011b.
CEARÁ. Decreto n. 30.797 de 29 de dezembro 2011. Regulamenta a Lei n. 15.052, de 06 de dezembro de 2011, que cria o Prêmio Escola Nota Dez, destinado a premiar escolas públicas com melhores resultados de aprendizagem no segundo e quinto anos do ensino fundamental, e dá outras providências. Diário Oficial do Estado, Fortaleza, série 3, ano III, n. 249, 30 de dezembro de 2011c.
CEARÁ. Secretaria da Educação Básica. Coordenadoria de Planejamento e Políticas Educacionais. Célula de Pesquisa e Avaliação Educacional. Sistema Permanente de Avaliação da Educação Básica do Ceará – SPAECE-Alfa e +5, 2012: relatório estadual. Fortaleza: SEB, 2012.
COOK, T. D.; CAMPBELL, D. T. Quasi-experimentation: design & analysis issues for field settings. Boston: Houghton Mifflin, 1979.
CRAHAY, M. Como a escola pode ser mais justa e mais eficaz? Cadernos Cenpec, São Paulo, v. 3, n. 1, p. 9-40, 2013. DOI: https://doi.org/10.18676/cadernoscenpec.v3i1.202
DIAMOND, J. B.; SPILLANE, J. P. High stakes accountability in urban elementary schools: challenging or reproducing inequality? Teachers College Records, New York, v. 106, n. 6, p. 1145-1176, 2004. DOI: https://doi.org/10.1177/016146810410600605
FERRAZ, C. Sistemas educacionais baseados em desempenho, metas de qualidade, e a remuneração de professores: os casos de Pernambuco e São Paulo. In: GIAMBIAGI, F.; HENRIQUES, R.; PESSOA, S.; VELOSO, F. (Org.). Educação no Brasil: construindo o país do futuro. Rio de Janeiro: Campus, Elsevier, 2009.
FERRAZ, C.; BURNS, B. Paying teachers to perform: the impacto of bônus pay in Pernambuco, Brazil. In: SREE SPRING 2012 CONFERENCE. Washington, DC, 2012.
FERREIRA, F. H. G.; GIGNOUX, J. The measurement of educational inequality: Achievement and opportunity. The World Bank Economic Review, v. 28, n. 2, p. 210-246, June 2014. DOI: https://doi.org/10.1093/wber/lht004
FIGLIO, D.; LOEB, S. School accountability. In: HANUSHEK, E. A.; MACHIN, S.; WOESSMANN, L. (Ed.). Handbook in economics of education. North-Holland: Elselvier, 2011. v. 3
FRANCO, C. Quais as contribuições da avaliação para as políticas educacionais? In: BONAMINO, A.; BESSA, N.; FRANCO, C. Avaliação da educação básica: pesquisa e gestão. São Paulo: Loyola, 2004. p. 45-63.
GIMENES, N.; SILVA, V. G.; PRÍNCIPE, L.; LOUZANO, P.; MARICONI, G. Além da Prova Brasil: investimento em sistemas próprios de avaliação externa. Estudos em Avaliação Educacional, São Paulo, v. 24, n. 55, p. 12-32, maio/ago. 2013. DOI: https://doi.org/10.18222/eae245520132718
GORARD, S.; HORDOSY, R.; SIDDIQUI, N. How unstable are ‘school effects’ assessed by a value-added technique? International Education Studies, North York, v. 6, n. 1, p. 1-9, Jan. 2013. DOI: https://doi.org/10.5539/ies.v6n1p1
GUO, S. Y.; FRASER, M. W. Propensity score analysis: statistical methods and applications. Thousand Oaks, CA: Sage, 2009. (Advanced Quantitative Techniques in the Social Sciences Series, 12).
HEILIG, J. V.; DARLING-HAMMOND, L. Accountability Texas-Style: the progress and learning of urban minority students in a high-stakes testing context. Educational Evaluation and Policy Analysis, Los Angeles, v.30, n. 2, p. 75-110, June 2008. DOI: https://doi.org/10.3102/0162373708317689
HSIEH, C.; URQUIOLA, M. The effects of generalized school choice on achievement and stratification: evidence from Chile’s Voucher Program. Journal of Public Economics, v. 90, n. 8, p. 1477-1503, Sept. 2006. DOI: https://doi.org/10.1016/j.jpubeco.2005.11.002
KOSLINSKI, M. C.; CARRASQUEIRA, K.; ANDRADE, F. M.; CUNHA, C. P. Políticas de responsabilização educacional: modelos possíveis e uma análise preliminar da política do município do Rio de Janeiro. In: CAVALIERI, A. M.; SOARES, A. J. Políticas educacionais no Estado do Rio de Janeiro. Rio de Janeiro: Mauad, 2015.
LADD, H. F. School-based educational accountability systems: the promise and the pitfalls. National Tax Journal, Washington DC, v. 54, n. 2, p. 385-400, June 2001. DOI: https://doi.org/10.17310/ntj.2001.2.09
LEE, V. Medidas educacionais: avaliando a eficácia das escolas em termos de excelência e de equidade. In: BONAMINO, A.; BESSA, N.; FRANCO, C. Avaliação da educação básica: pesquisa e gestão. São Paulo: Loyola, 2004. p. 13-43.
LIU, J.; CHARLEY, E.; FULLER, E. Evaluating principals: an analysis of current state strategies. In: UCEA CONVENTION, 27., 2013. Indianapolis: University Council Educational Administration, 2013.
MORGAN, S. L.; WINSHIP, C. Counterfactuals and causal inference: methods and principles for social research. Cambridge: Cambridge University, 2007. DOI: https://doi.org/10.1017/CBO9780511804564
MORGAN, S. L.; WINSHIP, C. Bringing context and variability back into causal analysis. In: KINCAID, H. (Ed.). The Oxford Handbook of Philosophy of Social Science. Oxford: Oxford University, 2012. DOI: https://doi.org/10.1093/oxfordhb/9780195392753.013.0014
OLIVEIRA, L. X. de. Políticas de responsabilização como estratégia para promoção de desempenho escolar: um estudo sobre o Prêmio “Escola Nota Dez”. 2016. 166 f. Tese (Doutorado em Educação) – Programa de Pós-Graduação em Educação, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2016.
OSHIRO, C. H.; SCORZAFAVE, L. G.; DORIGAN, T. A. Impacto sobre o desempenho escolar do pagamento de bônus aos docentes do ensino fundamental do Estado de São Paulo. Revista Brasileira de Economia, Rio de Janeiro, v. 69, n. 2, p. 213-249, abr./jun. 2015. DOI: https://doi.org/10.5935/0034-7140.20150010
PONTUAL, T. Remuneração por mérito, desafio para a educação. São Paulo: Fundação Lemman, 2008.
RAMOS, M. Aspectos conceituais e metodológicos da avaliação de políticas e programas sociais. Planejamento e Políticas Públicas, Brasília, DF, n. 32, p. 95-114, jan./jun. 2009.
RIBEIRO, V. M. Que princípio de justiça para a educação básica? Cadernos de Pesquisa, São Paulo, v. 44, n. 154, p. 1094-1109, out./dez. 2014. DOI: https://doi.org/10.1590/198053142844
ROSENBAUM, P. R.; RUBIN, D. B. The central role of the propensity score in observational studies for causal effects. Biometrika, Oxford, v. 70, n. 1, p. 41-55, abr. 1983. DOI: https://doi.org/10.1093/biomet/70.1.41
RUBIN, D. B. Matched sampling for casual effects. 1. ed. New York: Cambridge University Press, 2006. DOI: https://doi.org/10.1017/CBO9780511810725
SCORZAFAVE, L. G.; DORIGAN, T. A.; FERREIRA, J. N. P. Efeito das políticas de bonificação aos professores sobre a desigualdade de proficiência no Ensino Fundamental. In: REUNIÃO DA ABAVE, 8., 2015, Florianópolis. Anais… Florianópolis: Abave, 2015.
SEKHON, J. S. Multivariate and propensity score matching software with automated balance optimization: the matching package for R. Journal of Statistical Software, Forthcoming, Innsbruck, v. 42, n. 7, p. 1-52, June 2011. DOI: https://doi.org/10.18637/jss.v042.i07
SHADISH, W. R.; COOK, T. D.; CAMPBELL, D. T. Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton-Mifflin, 2002.
SOARES, J. F. O índice de desenvolvimento da educação de São Paulo – IDESP: bases metodológicas. São Paulo em Perspectiva, São Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009.
TIMMERMANS, A. C.; DOOLAARD, S.; WOLF, I. Conceptual and empirical differences among various value-added models for accountability. School Effectiveness and School Improvement, Londres, v. 22, n. 4, p. 393-413, Aug. 2011. DOI: https://doi.org/10.1080/09243453.2011.590704
WEST, M. R.; PETERSON, P. E. The efficacy of choice threats within school accountability systems: results from legislatively induced experiments. The Economic Journal, Medford, v. 116, n. 510, p. C46-C62, Mar. 2006. DOI: https://doi.org/10.1111/j.1468-0297.2006.01075.x
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2017 Mariane Campelo Koslinski, Eduardo Ribeiro, Luisa Xavier de Oliveira
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
a. Authors retain the copyright and grant the journal the right to first publication.
b. All works are licensed under the Creative Commons Attribution License, which allows the sharing of the paper with acknowledgment of authorship.
Until 2024, Estudos em Avaliação Educacional adopted the Creative Commons Attribution-NonCommercial (CC BY-NC) license for its publications. For texts published from 2025 onwards, the journal will adopt the Creative Commons Attribution (CC BY) license, in line with the principles of Open Science.
