Indicators for the systemic evaluation of social programs: the Pronatec case

Authors

  • Paulo de Martino Jannuzzi Instituto Brasileiro de Geografia e Estatística (IBGE), Rio de Janeiro, Rio de Janeiro, Brasil

DOI:

https://doi.org/10.18222/eae.v27i66.4168

Keywords:

Educational Indicators, Program Evaluation, Systemic Evaluation, Social Policies.

Abstract

The article presents a systemic approach of evaluation of social policies and programs and the diverse nature of indicators necessary to respond to different demands for information for the improvement and assessment of public action. It introduces three epistemic perspectives of evaluation; i.e. the bureaucratic-normativism of operational auditing, the technocratic-positivism of economic evaluation of social projects and methodological-pluralism of systemic evaluation of programs which are associated with different conceptions of the nature, complexity and values of social policies. Following this, the article discusses the need to develop specific indicators for the various stages of implantation of the programs and for the evaluation of their systemic components – budgetary resources, institutional resources, human resources, portfolio of services, equipment and social participation. The studies and indicators of Pronatec program, Brasil Sem Miséria [Brazil without Misery], conducted from 2011 thought 2016, are used as an example of the systemic evaluation.

Downloads

Download data is not yet available.

Author Biography

Paulo de Martino Jannuzzi, Instituto Brasileiro de Geografia e Estatística (IBGE), Rio de Janeiro, Rio de Janeiro, Brasil

Professor do Programa de Pós-Graduação em Estudos Populacionais e Pesquisas Sociais da Escola Nacional de Ciências Estatísticas(ENCE) do IBGE e professor colaborador da Escola Nacional de Administração Pública (ENAP). Atualmente ocupa o cargo de Secretário de Avaliação e Gestão de Informação (SAGI) do Ministério do Desenvolvimento Social e Combate à Fome.

References

AMANCIO, J. M. Inclusão produtiva e assistência social: desafios da implementação a partir das experiências recentes do Pronatec BSM e do Acessuas-Trabalho. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 24, p. 73-93, 2015.

ARRETCHE, M. Emergência e desenvolvimento do Welfare State: teorias explicativas. BIB: Boletim Informativo e Bibliográfico de Ciências Sociais, Rio de Janeiro, n. 39, p. 3-40, 1995.

ATKINSON, T. et al. Social indicators: the EU and social inclusion. Oxford: Oxford University, 2005.

BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Indicador para mensurar a complexidade da gestão nas escolas a partir dos dados do censo escolar da educação básica. Brasília, DF: Inep, 2014a. (Nota Técnica, n. 040/2014).

BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. Pesquisa de avaliação de ações em desenvolvimento social: sumário executivo. Brasília, DF: MSD/Sagi, 2014b.

BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. Censo do sistema único de assistência social. Brasília, DF: MSD/Sagi, 2015.

BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. Sagi: informação e conhecimento para as políticas de desenvolvimento social. 1. ed. Brasília, DF: MSD/Sagi, 2016.

CAMPELLO, T.; FALCÃO, T.; COSTA, P. V. O Brasil sem miséria. Brasília, DF: MDS, 2014.

GALINDO, E. L.; FERES, M. M.; SCHROEDER, N. O Pronatec e o fortalecimento das políticas e educação profissional e tecnológica. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 24, p. 21-45, 2015.

HOWLETT, M.; RAMESH, M; PERL, A. Política pública, seus ciclos e subsistemas. Rio de Janeiro: Campus, 2013.

INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Síntese de indicadores sociais. Rio de Janeiro: IBGE, 2014.

INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Suplemento de inclusão produtiva da pesquisa de informações básicas municipais e estaduais. Rio de Janeiro: IBGE, 2015.

INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Suplemento de qualificação profissional da pesquisa nacional por amostra de domicílios. Rio de Janeiro: IBGE, 2016.

JANNUZZI, P. M. Indicadores sociais no Brasil: conceitos, fonte de dados e aplicações. Campinas, SP: Alínea, 2004.

JANNUZZI, P. M. Avaliação de programas sociais: conceitos e referenciais de quem a realiza. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 58, p. 22-42, 2014.

JANNUZZI, P. M. Monitoramento e avaliação de programas sociais: uma introdução aos conceitos e técnicas. Campinas: Alínea, 2016.

KUHN, T. A estrutura das revoluções científicas. São Paulo: Perspectiva, 1992.

LATOUR, B. Ciência em ação: como seguir cientistas e engenheiros sociedade afora. São Paulo: Unesp, 2000.

LUCENA, F. F. A.; FONSECA, J. C. G. Análise de impacto do Pronatec em beneficiários. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 25, p. 100-117, 2016.

MARTIGNONI, E. Inclusão produtiva no Censo Suas 2011: subsídios ao Pronatec BSM. Brasília, DF: Ministério do Desenvolvimento Social e Agrário, 2011. (Estudo Técnico Sagi, n. 05/2011).

MONTAGNER, P.; MULLER, L. H. Apresentação. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 24, p. 7-17, 2015.

MORAL-ARCE, I. Elección del método de evaluación cuantitativa de una política pública: buenas prácticas en América Latina y la Unión Europea. Madrid: EuroSocial, 2014. (Documentos de Trabajo, n. 6).

MORENO, L. et al. Los sistemas de bienestar europeos tras la crisis económica. Madrid: EuroSocial, 2014. (Estudios, n. 3).

MULLER, L. H. et al. Inclusão produtiva urbana no Plano Brasil Sem Miséria: a experiência do Pronatec. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 24, p. 46-72, 2015.

NEUFVILLE, J. I. Social indicators and public policy. New York: Elsevier, 1975. RAVALLION, M. Should the randomistas rule? The Economists’ Voice, v. 6, n. 2, p. 1-5, Feb. 2009.

SILVA, E. R. A. Projetos políticos e arranjos participativos nacionais: os significados e os desdobramentos no CNS e no Conanda. 2013. 251 f. Tese (Doutorado em Ciências Sociais) – Instituto de Filosofia e Ciências Humanas, Universidade Estadual de Campinas, Campinas, 2013.

SOUSA, M. F.; SILVA, Y.; JANNUZZI, P. M. Contribuição do Programa Nacional de Acesso ao Ensino Técnico e Emprego: bolsa formação para formalização do emprego e dos microempreendedores individuais: análise dos participantes beneficiários do Bolsa Família e inscritos no cadastro único. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 24, p. 162-185, 2015.

SOUSA, M. F. et al. Avaliação do Pronatec: cobertura, adequação da oferta e desempenho dos participantes. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 24, p. 127-155, 2015.

VAITSMAN, J.; PAES-SOUSA, R. Avaliação de programas e transparência da gestão pública. Reflexões para Ibero-América: avaliação de programas sociais. Brasília, DF: Enap, 2009. p.11-23.

VARELLA, J. F. et al. Avaliação qualitativa do Pronatec-BSM; um estudo com egressos e desistentes, representantes das unidades ofertantes e interlocutores municipais. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 24, p. 94-126, 2015.

WEISS, C. Evaluation research. New Jersey: Prentice Hall, 1972.

YANES, P. La experiencia de evaluación de programas sociales en la Ciudad de México. Reflexões para Ibero-América: avaliação de programas sociais. Brasília, DF: Enap, 2009. p. 79-88.

Downloads

Published

2016-12-22

How to Cite

Jannuzzi, P. de M. (2016). Indicators for the systemic evaluation of social programs: the Pronatec case. Estudos Em Avaliação Educacional, 27(66), 624–661. https://doi.org/10.18222/eae.v27i66.4168

Issue

Vol. 27 No. 66 (2016): set./dez. 2016

Section

Articles

License

Copyright (c) 2016 Estudos em Avaliação Educacional

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

Authors who publish in this journal agree to the following terms:

a. Authors retain the copyright and grant the journal the right to first publication, with the paper simultaneously licensed under the Creative Commons Attribution license that allows the sharing of the paper with acknowledgment of authorship and initial publication in this journal.

b. Authors are authorized to assume additional contracts separately, for non-exclusive distribution of the version of the paper published in this journal (for example publishing in institutional repository or as a book chapter), with acknowledgment of authorship and initial publication in this journal.

c. Authors are allowed and encouraged to publish and distribute their paper on-line (for example in institutional repositories or on their personal page) at any moment before or during the editorial process, as this can generate productive changes, as well as increase the impact and citation of the published paper (See The Effect of Open Access).