Adecuación psicométrica de una escala de medida de propensión a la deserción

Autores/as

DOI:

https://doi.org/10.18222/eae.v34.9362

Palabras clave:

Deserción Escolar, Teoría de Respuesta al Ítem, Escala de Rendimiento, Psicometría

Resumen

El estudio intentó analizar la deserción por intermedio de la identificación del Funcionamiento Diferencial de los Ítems en el marco de la educación superior presencial en instituciones de educación superior pública y privada comunitaria con aplicación del instrumento WWH-dropout scale. La evaluación de las propriedades psicométricas de los ítems se llevó a cabo por medio de la Teoría de Respuesta al Ítem y del estudio del sesgo por el Método de Regresión Logística, comparando instituciones pública y privada. El análisis del sesgo de los ítems identificó a dos de ellos con funcionamiento diferencial. El reposicionamiento de tales ítems en la escala reveló que el desempeño estudiantil influye más sobre la deserción en la institución privada que en la pública y contribuye para la actuación anticipada y diferenciada de las instituciones de enseñanza en la prevención a la deserción.

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

Adriana Cioato Ferrazza, Universidade Federal do Rio Grande do Sul (UFRGS), Porto Alegre-RS, Brasil

Possui graduação em Biologia (2000), mestrado em Estatística (UFSC, 2020) e mestrado em Tecnologia e Gestão da Inovação (Unochapeco, 2017). Tem especialização em Instrumentação Estatística (2013) e Desenvolvimento sustentável (2001) e Gestão financeira (2009). É doutoranda em Agronegóciso (UFRGS, 2021).

Jeovani Schmitt, Instituto Federal de Educação, Ciência e Tecnologia Catarinense (IFC), Blumenau-SC, Brasil

Graduação em Licenciatura em Matemática, mestrado em Ciência da Computação pela Universidade Federal de Santa Catarina (2005), especialização em Gestão Escolar pela Fundação Universidade Regional de Blumenau (2010). Concluiu doutorado em Engenharia de Produção pela Universidade Federal de Santa Catarina - UFSC (2018) com participação no Programa de Doutorado Sanduíche na University of Florida (2017). Professor de Matemática e Estatística no Instituto Federal de Educação, Ciência e Tecnologia Catarinense (IFC), Blumenau (SC).

 

Dalton Francisco de, Universidade Federal de Santa Catarina (UFSC), Florianópolis-SC, Brasil

Possui graduação em Licenciatura em Matemática pela Universidade de São Paulo (1973), mestrado em Estatística pela Universidade de São Paulo (1977) e PhD em Biostatistics pela University of North Carolina at Chapel Hill, USA (1984). Atualmente é professor titular da UFSC, com atuação em programas de pós-graduação dos Departamentos de Engenharia de Produção (PPGEP) e de Informática e Estatística (PPGMGA), Pesquisador Associado da Fundação Vunesp e Consultor do Inep/Mec.

Andrea Cristina Konrath, Universidade Federal de Santa Catarina (UFSC), Florianópolis-SC, Brasil

Possui graduação em Matemática Aplicada e Computacional pela Universidade de Santa Cruz do Sul (2000), mestrado em Engenharia de Produção pela Universidade Federal de Santa Catarina (2002) e doutorado em Engenharia Mecânica pela Universidade Federal de Santa Catarina (2008). Trabalhou como docente na área de Estatística na Universidade do Vale do Itajaí, (UNIVALI), no período de março de 2007 a janeiro de 2009, e no Instituto de Matemática, Estatística e Física da Universidade Federal do Rio Grande (FURG), no período de fevereiro de 2009 a julho de 2011, também na área de Estatística. Desde agosto de 2011 é professora adjunta na Universidade Federal de Santa Catarina (UFSC), pertencendo ao Departamento de Informática e Estatística, na qual ministra disciplinas de Estatística na graduação e pós-graduação. 

 

Silvana Ligia Vincenzi, Universidade Federal de Santa Catarina (UFSC), Florianópolis-SC, Brasil

Possui graduação em Ciências pela Faculdade de Filosofia Ciências e Letras de Umuarama (1982), graduação em Matemática pela Faculdade de Filosofia Ciências e Letras de Umuarama (1984), graduação em Física pela Fundação Faculdade Estadual de Filosofia Ciências e Letras de Cornélio Procópio (1985). Especialização em Instrumentação Para o Ensino de Ciências pela Faculdade de Filosofia Ciências e Letras de Umuarama e Especialização em Matemática pela Universidade Estadual de Maringá. Mestrado (2003) e Doutorado (2010) pela Universidade Federal de Santa Catarina em Engenharia de Produção na área de inteligência organizacional. Atualmente é professora titular e pesquisadora da Universidade Tecnológica Federal do Paraná - UTFPR, campus Medianeira e professora voluntária do Programa de Pós-Graduação em Métodos e Gestão em Avaliação - UFSC.

Citas

Ambiel, R. A. M. (2015). Construção da escala de motivos para evasão do ensino superior. Avaliação Psicológica, 14(1), 41-52. http://doi.org/10.15689/ap.2015.1401.05 DOI: https://doi.org/10.15689/ap.2015.1401.05

Ambiel, R. A. M., Carvalho, L. de F., Moreira, T. de C., & Bacan, A. R. (2016). Funcionamento diferencial dos itens na escala de motivos para evasão do ensino superior (M-ES). Psico, 47(1), 68-76. http://dx.doi.org/10.15448/1980-8623.2016.1.21765 DOI: https://doi.org/10.15448/1980-8623.2016.1.21765

Andrade, D., Tavares, H., & Valle, R. (2000). Teoria da Resposta ao Item: Conceitos e aplicações. Sinape.

Berens, J., Schneider, K., Görtz, S., Oster, S., & Burghoff, J. (2019). Early detection of students at risk – Predicting student dropouts using administrative student data from German universities and machine learning methods. Journal of Educational Data Mining, 11(3), 1-41. https://doi.org/10.5281/zenodo.3594771 DOI: https://doi.org/10.2139/ssrn.3275433

Berka, P., & Marek, L. (2021). Bachelor’s degree student dropouts: Who tend to stay and who tend to leave? Studies in Educational Evaluation, 70, Article 100999. https://doi.org/10.1016/j.stueduc.2021.100999 DOI: https://doi.org/10.1016/j.stueduc.2021.100999

Bielschowsky, C. E. (2019). Avaliando o desempenho e custos da graduação das instituições federais de ensino superior. EaD em Foco, 9(1), Artigo e828. https://eademfoco.cecierj.edu.br/index.php/Revista/article/view/828 DOI: https://doi.org/10.18264/eadf.v9i1.828

Brown, T. (2015). Confirmatory factor analysis for applied research (2nd ed.). The Guilford Press.

Bundsgaard, J. (2019). DIF as a pedagogical tool: Analysis of item characteristics in ICILS to understand what students are struggling with. Large-scale Assessments in Education, 7, Article 9. https://doi.org/10.1186/s40536-019-0077-2 DOI: https://doi.org/10.1186/s40536-019-0077-2

Calderón Mayorga, C., Colomo Magaña, E., & Ruiz Palmero, J. (2020). Causas de la deserción escolar en Ingeniería en Electrónica y Computación del Centro Universitario de los Valles de la Universidad de Guadalajara (México). Revista Espacios, 41(6), 1-15. https://www.revistaespacios.com/a20v41n06/20410615.html

Casanova, J. R., Gomes, C. M. A., Bernardo, A. B., Núñez, J. C., & Almeida, L. S. (2021). Dimensionality and reliability of a screening instrument for students at-risk of dropping out from higher education. Studies in Educational Evaluation, 68, Article 100957. https://doi.org/10.1016/j.stueduc.2020.100957 DOI: https://doi.org/10.1016/j.stueduc.2020.100957

Castles, J. (2004). Persistence and the adult learner: Factors affecting persistence in open university students. Active Learning in Higher Education, 5(2), 166-179. https://doi.org/10.1177/1469787404043813 DOI: https://doi.org/10.1177/1469787404043813

Cerdà-Navarro, A., Sureda-García, I., & Salvà-Mut, F. (2020). Intención de abandono y abandono durante el primer curso de Formación Profesional de Grado Medio: Un análisis tomando como referencia el concepto de implicación del estudiante (“student engagement”). Estudios sobre Educación, 39, 33-57. https://doi.org/10.15581/004.39.33-57 DOI: https://doi.org/10.15581/004.39.33-57

Chalmers, R. P. (2012). mirt: A Multidimensional Item Response Theory Package for the R Environment. Journal of Statistical Software, 48(6). https://doi.org/10.18637/jss.v048.i06 DOI: https://doi.org/10.18637/jss.v048.i06

Chen, Y., Li, C., & Xu, G. (2023). DIF statistical inference and detection without knowing anchoring items. Cornell University. https://doi.org/10.48550/arXiv.2110.11112 DOI: https://doi.org/10.1007/s11336-023-09930-9

Cocoradă, E., Curtu, A. L., Năstasă, L. E., & Vorovencii, I. (2021). Dropout intention, motivation, and socio-demographics of forestry students in Romania. Forests, 12(5), 618. https://doi.org/10.3390/f12050618 DOI: https://doi.org/10.3390/f12050618

Costa, F. J. da, Bispo, M. de S., & Pereira, R. de C. de F. (2018). Dropout and retention of undergraduate students in management: A study at a Brazilian federal university. RAUSP Management Journal, 53(1), 74-85. https://doi.org/10.1016/j.rauspm.2017.12.007 DOI: https://doi.org/10.1016/j.rauspm.2017.12.007

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334. https://doi.org/10.1007/BF02310555 DOI: https://doi.org/10.1007/BF02310555

Davoglio, T. R., Santos, B. S. dos, & Lettnin, C. da C. (2016). Validação da escala de motivação acadêmica em universitários brasileiros. Ensaio: Avaliação e Políticas Públicas em Educação, 24(92), 522-545. https://doi.org/10.1590/S0104-4036201600030000 DOI: https://doi.org/10.1590/S0104-40362016000300002

DiCerbo, K. (2019). Psychometric methods: Theory into practice. Measurement: Interdisciplinary Research and Perspectives, 17(1), 60-64. https://doi.org/10.1080/15366367.2018.1521190 DOI: https://doi.org/10.1080/15366367.2018.1521190

Dore, R., Araujo, A., & Mendes, J. (2014). Evasão na educação: Estudos, políticas e propostas de enfrentamento. Instituto Federal de Brasília (IFB).

Drasgow, F., Nye, C. D., Stark, S., & Chernyshenko, O. S. (2018). Differential item and test functioning. In P. Irwing, T. Booth, & D. J. Hughes (Eds.), The Wiley handbook of psychometric testing (pp. 885-899). John Wiley & Sons. https://doi.org/10.1002/9781118489772.ch27 DOI: https://doi.org/10.1002/9781118489772.ch27

Duarte, T., Lopes, A., & Silva, L. da. (2021). Correlating entrance data and first year academic performance of students enrolled in the Integrated Master in Mechanical Engineering at the University of Porto. International Journal of Mechanical Engineering Education, 50(3). https://doi.org/10.1177/03064190211015650 DOI: https://doi.org/10.1177/03064190211015650

Fallon, L. M., Cathcart, S. C., & Johnson, A. H. (2021). Assessing differential item functioning in a teacher self-assessment of cultural responsiveness. Journal of Psychoeducational Assessment, 39(7), 816-831. https://doi.org/10.1177/07342829211026464 DOI: https://doi.org/10.1177/07342829211026464

Ferrazza, A. C. (2020). Aplicação de uma escala de propensão à evasão discente em uma instituição de ensino superior privada [Dissertação de mestrado profissional, Universidade Federal de Santa Catarina]. Repositório Institucional da UFSC. https://repositorio.ufsc.br/handle/123456789/216656

Fung, K. (2010). Numbers rule your world: The hidden influence of probabilities and statistics on everything you do. McGraw-Hill.

Gómez-Benito, J., Sireci, S., Padilla, J.-L., Hidalgo, M. D., & Benítez, I. (2018). Differential item functioning: Beyond validity evidence based on internal structure. Psicothema, 30(1), 104-109.

Gómez Gallego, M. G., Perez de los Cobos, A. P., & Gómez Gallego, J. C. (2021). Identifying students at risk to academic dropout in higher education. Education Sciences, 11, Article 427. https://doi.org/10.3390/educsci11080427 DOI: https://doi.org/10.3390/educsci11080427

González-Campos, J. A., Carvajal-Muquillaza, C. M., & Aspeé-Chacón, J. E. (2020). Modeling of university dropout using Markov chains. Uniciencia, 34(1), 129-146. http://dx.doi.org/10.15359/ru.34-1.8 DOI: https://doi.org/10.15359/ru.34-1.8

Gonzalez-Ramirez, J., Arora, P., Podesta, G. (2018). Using insights from prospect theory to enhance sustainable decision making by agribusinesses in Argentina. Sustainability, 10(8), Article 2693. https://doi.org/10.3390/su10082693 DOI: https://doi.org/10.3390/su10082693

Hair, J. F., Jr., Black, W. C., Babin, B. J., & Anderson, R. E. (2019). Multivariate data analysis (8th ed.). Cengage Learning.

Hossler, D., Chung, E., Kwon, J., Lucido, J., Bowman, N., & Bastedo, M. (2019). A study of the use of nonacademic factors in holistic undergraduate admissions reviews. The Journal of Higher Education, 90(6), 833-859. https://doi.org/10.1080/00221546.2019.1574694 DOI: https://doi.org/10.1080/00221546.2019.1574694

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2022). Microdados do Censo da Educação Superior 2018. Inep. https://download.inep.gov.br/microdados/ microdados_censo_da_educacao_superior_2018.zip

Irribarra, D. T., & Freund, R. (2022). WrightMap: IRT item-person map with “conquest” integration. https://github.com/david-ti/wrightmap

Kaiser, F. (1974). An index of factorial simplicity. Psychometrika, 39, 31-36. https://doi.org/10.1007/BF02291575 DOI: https://doi.org/10.1007/BF02291575

Lambert, M. C., Garcia, A. G., Epstein, M. H., & Cullinan, D. (2018). Differential item functioning of the emotional and behavioral screener for Caucasian and African American elementar school students. Journal of Applied School Psychology, 34(3), 201-214. https://doi.org/10.1080/15377903.2017.1345815 DOI: https://doi.org/10.1080/15377903.2017.1345815

Lee, P., Joo, S.-H., & Stark, S. (2021). Detecting DIF in multidimensional forced choice measures using the Thurstonian Item Response Theory Model. Organizational Research Methods, 24(4), 739-771. https://doi.org/10.1177/1094428120959822 DOI: https://doi.org/10.1177/1094428120959822

Lizarte Simón, E. J., & Gijón Puerta, J. (2022). Prediction of early dropout in higher education using the SCPQ. Cogent Psychology, 9(1), Article 2123588. https://doi.org/10.1080/23311908.20 22.2123588 DOI: https://doi.org/10.1080/23311908.2022.2123588

Ma, W., Terzi, R., & Torre, J. de la. (2021). Detecting differential item functioning using multiple-group cognitive diagnosis models. Applied Psychological Measurement, 45(1), 37-53. https://doi.org/10.1177/0146621620965745 DOI: https://doi.org/10.1177/0146621620965745

Marczuk, A., Multrus, F., & Lörz, M. (2021). Die Studiensituation in der Corona-Pandemie. Auswirkungen der Digitalisierung auf die Lern- und Kontaktsituation von Studierenden. DZHW Brief, 1. https://doi.org/10.34878/2021.01.dzhw_brief

Midkiff, B., Langer, M., Demetriou, C., & Panter, A. T. (2018). An IRT analysis of the growth mindset scale. In M. Wiberg, J. O. Ramsey, & J. Li (Eds.), Quantitative psychology: Springer proceedings in mathematics & statistics (pp. 163-174). Springer International Publishing. DOI: https://doi.org/10.1007/978-3-319-77249-3_14

Paksi, B., Széll, K., & Fehérvári, A. (2023). Empirical testing of a multidimensional model of school dropout risk. Social Sciences, 12(2), Article 50. https://doi.org/10.3390/socsci12020050 DOI: https://doi.org/10.3390/socsci12020050

Perchinunno, P., Bilancia, M., & Vitale, D. (2021). A statistical analysis of factors affecting higher education dropouts. Social Indicators Research, 156, 341-362. https://doi.org/10.1007/s11205- 019-02249-y DOI: https://doi.org/10.1007/s11205-019-02249-y

Piepenburg, J. G., & Beckmann, J. (2021). The relevance of social and academic integration for students’ dropout decisions. Evidence from a factorial survey in Germany. European Journal of Higher Education, 12(3), 255-276. https://doi.org/10.1080/21568235.2021.1930089 DOI: https://doi.org/10.1080/21568235.2021.1930089

Pigliapoco, E., & Bogliolo, A. (2008). The effects of psychological sense of community in online and face-to-face academic courses. International Journal of Emerging Technologies in Learning (iJET), 3(4), 60-69. https://online-journals.org/index.php/i-jet/article/view/201 DOI: https://doi.org/10.3991/ijet.v3i4.201

R Core Team. (2018). R: A language and environment for statistical computing. R Foundation for Statistical Computing. https://www.R-project.org/

Reckase, M. D. (1979). Unifactor latent trait models applied to multifactor tests: Results and implications. Journal of Educational Statistics, 4(3), 207-230. https://doi.org/10.3102/10769986004003207 DOI: https://doi.org/10.3102/10769986004003207

Rocha, A., Leles, C., Queiroz, M. (2019). Fatores associados ao desempenho acadêmico de estudantes de Nutrição no Enade. Revista Brasileira de Estudos Pedagógicos, 99(251), 74-94. https://doi.org/10.24109/2176-6681.rbep.99i251.3162 DOI: https://doi.org/10.24109/2176-6681.rbep.99i251.3162

Rochin Berumen, F. L. (2021). Deserción escolar en la educación superior en México: Revisión de literatura. RIDE – Revista Iberoamericana para la Investigación y el Desarrollo Educativo, 11(22), Artículo e161. https://doi.org/10.23913/ride.v11i22.821 DOI: https://doi.org/10.23913/ride.v11i22.821

Samejima, F. (1968). Estimation of latent ability using a response pattern of graded scores. ETS Research Bulletin Series, 1968(1), i-169. https://doi.org/10.1002/j.2333-8504.1968.tb00153.x DOI: https://doi.org/10.1002/j.2333-8504.1968.tb00153.x

Santos, M. M. dos, Pedroso, I. G. F., & Oliveira, S. C. de. (2021). Percepção discente sobre cursos de graduação em Ciências Agrárias e Humanidades da UNESP. Educação e Pesquisa, 47, Artigo e227954. https://doi.org/10.1590/S1678-4634202147227954 DOI: https://doi.org/10.1590/s1678-4634202147227954

Schmitt, J., Fini, M. I., Bailer, C., Fritsch, R., & Andrade, D. F. de. (2020). WWH-dropout scale: When, why and how to measure propensity to drop out of undergraduate courses. Journal of Applied Research in Higher Education, 13(2), 540-560. DOI: https://doi.org/10.1108/JARHE-01-2020-0019

Soares, A. B., Monteiro, M. C., Maia, F. de A., & Santos, Z. de A. (2019). Comportamentos sociais acadêmicos de universitários de instituições públicas e privadas: O impacto nas vivências no ensino superior. Pesquisas e Práticas Psicossociais, 14(1), Artigo e1783. http://pepsic.bvsalud.org/pdf/ppp/v14n1/11.pdf

Song, Z., Sung, S.-H., Park, D.-M., & Park, B.-K. (2023). All-year dropout prediction modeling and analysis for university students. Applied Sciences, 13(2), Article 1143. https://doi.org/10.3390/ app13021143 DOI: https://doi.org/10.3390/app13021143

Spady, W. G. (1970). Dropouts from higher education: An interdisciplinary review and synthesis. Interchange, 1, 64-85. https://doi.org/10.1007/BF02214313 DOI: https://doi.org/10.1007/BF02214313

Spenassato, D. (2017). Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto [Tese de doutorado, Universidade Federal de Santa Catarina]. Repositório Institucional da UFSC. https://repositorio.ufsc.br/xmlui/ handle/123456789/179789

Swaminathan, H., & Rogers, H. J. (1990). Detecting differential item functioning using logistic regression procedures. Journal of Educational Measurement, 27(4), 361-370. http://www.jstor.org/stable/1434855 DOI: https://doi.org/10.1111/j.1745-3984.1990.tb00754.x

Teuber, Z., Jia, H., & Niewöhner, T. (2021). Satisfying students’ psychological needs during the COVID-19 outbreak in German Higher Education Institutions. Frontiers in Education, 6, Article 679695. https://doi.org/10.3389/feduc.2021.679695 DOI: https://doi.org/10.3389/feduc.2021.679695

Tezza, R., Bornia, A. C., Andrade, D. F. de, & Barbetta, P. A. (2018). Modelo multidimensional para mensurar qualidade em website de e-commerce utilizando a teoria da resposta ao item. Gestão & Produção, 25(4), 916-934. https://doi.org/10.1590/0104-530X1875-18 DOI: https://doi.org/10.1590/0104-530x1875-18

Tinto, V. (1975). Dropout from higher education: A theoretical synthesis of recent research. Review of Educational Research, 45(1), 89-125. https://doi.org/10.2307/1170024 DOI: https://doi.org/10.3102/00346543045001089

Tinto, V. (2006). Research and practice of student retention: What next? Journal of College Student Retention: Research, Theory & Practice, 8(1), 1-19. https://doi.org/10.2190/4YNU-4TMB-22DJ-AN4W DOI: https://doi.org/10.2190/4YNU-4TMB-22DJ-AN4W

Valentini, F. (2019). Funcionamento diferencial de itens e dos testes: Teoria de resposta ao item ou equações estruturais? Revista Avaliação Psicológica, 18(2), 1-2. http://dx.doi.org/10.15689/ap.2019.1802.ed DOI: https://doi.org/10.15689/ap.2019.1802.ed

Vasconcellos, S. J. L., Pozzobon, F. A., Cas, A. R. da, Moraes, O. F., Rocha, A. M. da, & Ferraz, R. C. (2018). Instrumentos de autorrelato para avaliar traços antissociais medem o que objetivam medir? Revista Avaliação Psicológica, 17(2), 163-169. http://dx.doi.org/10.15689/ap.2018.1702.13264.01 DOI: https://doi.org/10.15689/ap.2018.1702.13264.01

Vincenzi, S. L., Possan, E., Andrade, D. F. de, Pituco, M. M., Santos, T. de O., & Jasser, E. P. (2018). Assessment of environmental sustainability perception through item response theory: A case study in Brazil. Journal of Cleaner Production, 170, 1369-1386. https://doi.org/10.1016/j.jclepro.2017.09.217 DOI: https://doi.org/10.1016/j.jclepro.2017.09.217

Vitelli, R. F., & Fritsch, R. (2016). Evasão escolar na educação superior: De que indicador estamos falando? Estudos em Avaliação Educacional, 27(66), 908-937. https://doi.org/10.18222/eae.v27i66.4009 DOI: https://doi.org/10.18222/eae.v27i66.4009

Von Hippel, P. T., & Hofflinger, A. (2020). The data revolution comes to higher education: Identifying students at risk of dropout in Chile. Journal of Higher Education Policy and Management, 43(1), 2-23. https://doi.org/10.1080/1360080X.2020.1739800 DOI: https://doi.org/10.1080/1360080X.2020.1739800

Warren, K. D. (2020). A study on the influence of social and academic integration on student retention through the lens of academic discipline [PhD Higher, Seton Hall University]. Seton Hall University Dissertations and Theses (ETDs). https://scholarship.shu.edu/dissertations/2758

Wild, S., & Heuling, L. S. (2020). Student dropout and retention: An event history analysis among students in cooperative higher education. International Journal of Educational Research, 104, Article 101687. https://doi.org/10.1016/j.ijer.2020.101687 DOI: https://doi.org/10.1016/j.ijer.2020.101687

Willcoxson, L., Cotter, J., & Joy, S. (2011). Beyond the first‐year experience: The impact on attrition of student experiences throughout undergraduate degree studies in six diverse universities. Studies in Higher Education, 36(3), 331-352. https://doi.org/10.1080/03075070903581533 DOI: https://doi.org/10.1080/03075070903581533

Publicado

2023-10-26

Cómo citar

Ferrazza, A. C., Schmitt, J., Dalton Francisco de, Konrath, A. C., & Vincenzi, S. L. (2023). Adecuación psicométrica de una escala de medida de propensión a la deserción. Estudos Em Avaliação Educacional, 34, e09362. https://doi.org/10.18222/eae.v34.9362

Número

Sección

Artículos