Assessment Literacy: Training raters for the Celpe-Bras written part

Authors

DOI:

https://doi.org/10.18222/eae.v36.11489

Keywords:

Assessment, Training, Certificate of Proficiency in Portuguese Language for Foreigners, Portuguese as an Additional Language

Abstract

This paper presents the self-study training course for raters of the written part of the Celpe-Bras exam. The objectives, the theoretical framework, and the methodological design of the course tasks are explained, highlighting their potential for developing assessment literacy of raters and teachers of Portuguese as an additional language. Based on a practice-reflection-practice cycle, the course tasks provide opportunities for participants to engage in assessment procedures and relate them to the exam construct. The course content and design promote learning through reflection on assessment practice, providing theoretical and methodological support for teaching and assessing writing.

Downloads

Download data is not yet available.

Author Biographies

Margarete Schlatter, Universidade Federal do Rio Grande do Sul (UFRGS), Porto Alegre-RS, Brasil

É professora na UFRGS, atuando no estágio de docência em inglês como língua adicional, na comissão coordenadora do Programa de Português para Estrangeiros e na pós-graduação em Linguística Aplicada. Coordenou a Comissão Técnica do Exame de Proficiência em Língua Portuguesa para Estrangeiros Celpe-Bras e é uma das autoras da proposta curricular de Língua Estrangeira Moderna/Espanhol e Inglês dos Referenciais Curriculares do Estado do Rio Grande do Sul. 

Juliana Roquele Schoffen, Universidade Federal do Rio Grande do Sul (UFRGS), Porto Alegre-RS, Brasil

Doutora em Linguística Aplicada (2009) pela UFRGS. É professora do Instituto de Letras da UFRGS e atua com ensino e formação de professores de língua portuguesa como língua materna e adicional na graduação e na pós-graduação. É membro da Comissão Técnico-Científica do exame Celpe-Bras desde 2008 e foi a idealizadora do Acervo Celpe-Bras. Lidera o grupo de pesquisa Avaliação de uso da linguagem (Avalia) da UFRGS.

Gabrielle Rodrigues Sirianni, Universidade Federal do Rio Grande do Sul (UFRGS), Porto Alegre-RS, Brasil

Doutorando em Linguística Aplicada pela UFRGS. Mestra na área de concentração estudos da linguagem, linha de pesquisa linguística aplicada, do programa de pós-graduação em Letras da UFRGS (2020). Atua como professora de português e aplicadora da parte escrita e da parte oral do exame Celpe-Bras. É membro do grupo de pesquisa Avaliação de uso da linguagem (Avalia) da UFRGS e tem interesse pelo ensino e avaliação de português como língua materna e língua adicional.

Giovana Lazzaretti Segat, Universidade Federal do Rio Grande do Sul (UFRGS), Porto Alegre-RS, Brasil

Doutoranda em Linguística Aplicada no programa de pós-graduação em Letras da UFRGS e mestra em Linguística Aplicada pela mesma instituição. É membro do grupo de pesquisa Avaliação de uso da linguagem (Avalia) da UFRGS. Atua na aplicação e na avaliação do Exame Celpe-Bras e tem experiência no ensino de português como língua materna e adicional. 

References

Attali, Y. (2016). A comparison of newly-trained and experienced raters on a standardized writing assessment. Language Testing, 33(1), 99-115. https://doi.org/10.1177/0265532215582283

Bachman, L. F. (2002). Some reflections on task-based language performance assessment. Language Testing, 19(4), 453-476. https://doi.org/10.1191/0265532202lt240oa

Bachman, L. F., & Palmer, A. S. (1996). Language Testing in Practice: Designing and developing useful language tests. Oxford University Press.

Giraldo, F. (2021). A reflection on initiatives for teachers’ professional development through language assessment literacy. Profile: Issues in Teachers’ Professional Development, 23(1), 197-213. https://doi.org/10.15446/profile.v23n1.83094

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2020). Documento-base do exame Celpe-Bras. Inep. https://www.gov.br/inep/pt-br/centrais-de-conteudo/acervo-linha-editorial/publicacoes-institucionais/avaliacoes-e-exames-da-educacao-basica/documento-base-do-exame-celpe-bras

Kleiman, A. B. (1995). Modelos de letramento e as práticas de alfabetização na escola. In A. B. Kleiman (Org.), Os significados do letramento: Uma nova perspectiva sobre a prática social da escrita (pp. 15-61). Mercado de Letras.

Kolb, A. Y., & Kolb, D. A. (2013). The Kolb learning style inventory – Version 4.0: A comprehensive guide to the theory, psychometrics, research on validity and educational applications. Experience Based Learning Systems. https://learningfromexperience.com/downloads/research-library/the-kolb-learning-style-inventory-4-0.pdf

Pill, J., & Harding, L. (2013). Defining the language assessment literacy gap: Evidence from a parliamentary inquiry. Language Testing, 30(3), 381-402. https://doi.org/10.1177/0265532213480337

Portaria n. 623, de 13 de novembro de 2020. (2020, novembro 13). Dispõe sobre os procedimentos de naturalização, de igualdade de direitos, de perda da nacionalidade, de reaquisição da nacionalidade e de revogação da decisão de perda da nacionalidade brasileira. Diário Oficial da União, (219), Seção 1. https://dspace.mj.gov.br/bitstream/1/2247/1/PRT_GM_2020_623.pdf

Quevedo-Camargo, G., & Scaramucci, M. V. R. (2018). O conceito de letramento em avaliação de língua: Origem de relevância para o contexto brasileiro. Linguagem: Estudos e Pesquisas, 22(1), 225-245. https://periodicos.ufcat.edu.br/lep/article/view/54474

Referencial curricular: Lições do Rio Grande. Linguagens, Códigos e suas Tecnologias. Língua Portuguesa e Literatura, Língua Estrangeira Moderna. (2009). (Vol. 1). Secretaria do Estado de Educação; Departamento Pedagógico. https://servicos.educacao.rs.gov.br/dados/refer_curric_vol1.pdf

Scaramucci, M. V. R. (1999). Vestibular e ensino de língua estrangeira (Inglês) em uma escola pública. Trabalhos em Linguística Aplicada, 34, 7-20. https://periodicos.sbu.unicamp.br/ojs/index.php/tla/article/view/8639295

Scaramucci, M. V. R. (2004). Efeito retroativo da avaliação no ensino/aprendizagem de línguas: O estado da arte. Trabalhos em Linguística Aplicada, 43(2), 203-226. https://doi.org/10.1590/S0103-18132004000200002

Schlatter, M. (2014). Celpe-Bras: Avaliação, ensino e formação de professores de português como língua adicional. Celpe-Bras. https://www.ufrgs.br/acervocelpebras/historia/

Schlatter, M., Scaramucci, M. V. R., Prati, S., & Acuña, L. (2009). Celpe-Bras e Celu: Impactos da construção de parâmetros comuns de avaliação de proficiência em português e em espanhol. In M. G. Z. Fontana (Org.), O português do Brasil como língua transnacional (pp. 95-122). RG.

Schlatter, M., Scaramucci, M. V. R., & Schoffen, J. R. (2024). A self-study online course for Celpe-Bras raters and examiners: Induction into assessment practice and reflection. In B. Baker, & L. Taylor (Eds.), Language assessment literacy and competence volume 1: Research and reflections from the field (pp. 129-147). Cambridge University Press & Assessment.

Schlatter, M., Schoffen, J. R., Sirianni, G. R., & Segat, G. L. (2023). Curso online de formação de avaliadores da parte escrita do Celpe-Bras (3ª ed. atualizada). Manuscrito.

Schoffen, J. R. (2009). Gêneros do discurso e parâmetros de avaliação de proficiência em português como língua estrangeira no exame Celpe-Bras [Tese de doutorado, Universidade Federal do Rio Grande do Sul]. Lume – Repositório Digital da UFRGS. https://lume.ufrgs.br/handle/10183/16900

Schoffen, J. R., & Martins, A. F. (2016). Políticas linguísticas e definição de parâmetros para o ensino de português como língua adicional: Perspectivas portuguesa e brasileira. ReVEL, 14(26), 271-306. http://hdl.handle.net/10183/196281

Schoffen, J. R., Schlatter, M., Kunrath, S. P., Nagasawa, E. Y., Sirianni, G. R., Mendel, K., Truyllio, L. R., & Divino, L. S. (2018). Estudo descritivo das tarefas da parte escrita do exame Celpe-Bras: Edições de 1998 a 2017. Instituto de Letras – UFRGS. http://hdl.handle.net/10183/195625

Stabler-Havener, M. L. (2018). Defining, conceptualizing, problematizing, and assessing language teacher assessment literacy. Studies in Applied Language and TESOL, 18(1), 1-22. https://doi.org/10.7916/salt.v18i1.1195

Taylor, L. (2013). Communicating the theory, practice and principles of language testing to test stakeholders: Some reflections. Language Testing, 30(3), 403-412. https://doi.org/10.1177/0265532213480338

Truyllio, L. R. (2018). Exame Celpe-Bras: Atualização e análise do acervo de pesquisas [Comunicação oral]. 4. Seminário Nacional de Ensino de Línguas e de Literatura – SNELL, Lajeado, RS, Brasil.

Yan, X., & Chuang, P-L. (2022). How do raters learn to rate? Many-facet Rasch modeling of rater performance over the course of a rater certification program. Language Testing, 40(1), 153-179. https://doi.org/10.1177/02655322221074913

Yan, X., & Fan, J. (2020). “Am I qualified to be a language tester?”: Understanding the development of language assessment literacy across three stakeholder groups. Language Testing, 38(2), 219-246. https://doi.org/10.1177/0265532220929924

Downloads

Published

2025-05-19

How to Cite

Schlatter, M., Schoffen, J. R., Sirianni, G. R., & Segat, G. L. (2025). Assessment Literacy: Training raters for the Celpe-Bras written part. Estudos Em Avaliação Educacional, 36, e11489. https://doi.org/10.18222/eae.v36.11489

Issue

Vol. 36 (2025)

Section

Assessment Practices for Additional Languages

License

Copyright (c) 2025 Estudos em Avaliação Educacional

Creative Commons License

This work is licensed under a Creative Commons Attribution 4.0 International License.

Authors who publish in this journal agree to the following terms:

a. Authors retain the copyright and grant the journal the right to first publication, with the paper simultaneously licensed under the Creative Commons Attribution License (CC BY 4.0) license that allows the sharing of the paper with acknowledgment of authorship and initial publication in this journal.

b. Authors are authorized to assume additional contracts separately, for non-exclusive distribution of the version of the paper published in this journal (for example publishing in institutional repository or as a book chapter), with acknowledgment of authorship and initial publication in this journal.

c. Authors are allowed and encouraged to publish and distribute their paper on-line (for example in institutional repositories or on their personal page) at any moment before or during the editorial process, as this can generate productive changes, as well as increase the impact and citation of the published paper (See The Effect of Open Access).