An analysis of the complexity of mathematics items using Solo taxonomy

Authors

DOI:

https://doi.org/10.18222/eae.v36.11415

Keywords:

External Assessment, Complexity Levels, Item Analysis

Abstract

This study aimed to analyze the cognitive complexity of mathematics items from the 5th and 9th grades of elementary education in the Prova Brasil assessment, based on the cognitive taxonomy called Structure of Observed Learning Outcomes (Solo). The consistency of the qualitative analysis of 123 items was evaluated using the inter-rater agreement method, and the cognitive complexity of the items was investigated using the levels of the Solo taxonomy. The relationship between Solo levels and the discrimination and difficulty parameters of the items and the proficiency levels required for correct answers was also examined. We found a significant proportion of items that require surface learning. Surface learning predominated even among items with high levels of difficulty and discrimination and at proficiency levels considered adequate and advanced.

Downloads

Download data is not yet available.

Author Biographies

Solange Maria Mol, Universidade Federal de Ouro Preto (UFOP), Mariana-MG, Brasil

Licenciada em Pedagogia, doutora e mestra em Educação pela UFOP.  Atua como Gerente de Apoio Pedagógico dos Anos Finais do Ensino Fundamental na Secretaria Municipal de Educação de Mariana-MG.

Daniel Abud Seabra Matos, Universidade Federal de Ouro Preto (UFOP), Mariana-MG, Brasil

Graduado em Psicologia e mestre em Educação pela Universidade Federal de Minas Gerais (UFMG). Doutor em Educação pela UFMG, com período Sanduíche na University of Florida. Possui pós-doutorado pela Universidade da Beira Interior (UBI) e pela Universidade São Francisco (USF). Professor do departamento de Educação e da Pós-Graduação em Educação da UFOP, onde coordena o Núcleo de Avaliação Educacional (Nave).

References

Alves, M. T. G., & Soares, J. F. (2013). Contexto escolar e indicadores educacionais: Condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa, 39(1), 177-194. https://doi.org/10.1590/S1517-97022013000100012 DOI: https://doi.org/10.1590/S1517-97022013000100012

Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001). A taxonomy for learning, teaching and assessing: A revison of Bloom’s Taxonomy of Educational Objectives. Addison Wesley Longman.

Biggs, J., & Collis, K. (1982). Evaluating the quality of learning: The SOLO Taxonomy. Academic Press. https://doi.org/10.1016/C2013-0-10375-3 DOI: https://doi.org/10.1016/C2013-0-10375-3

Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104 DOI: https://doi.org/10.1177/001316446002000104

Filipe, M. A. E. R. (2011). A taxonomia SOLO nos exames nacionais de matemática – 9º Ano [Dissertação de mestrado, Universidade Nova de Lisboa]. Repositório da Universidade Nova. https://run.unl.pt/handle/10362/8173

Gatti, B. A. (2009). Avaliação de sistemas educacionais no Brasil. Sísifo – Revista de Ciências da Educação, (9), 7-18. http://sisifo.ie.ulisboa.pt/index.php/sisifo/article/view/144

Hattie, J. A. C., & Brown, G. T. L. (2004). Cognitive processes in asTTle: The SOLO taxonomy [Technical Report, 43]. University of Auckland; Ministry of Education.

Hayes, A. F., & Krippendorff, K. (2007). Answering the call for a standard reliability measure for coding data. Communication Methods and Measures, 1(1), 77-89. https://doi.org/10.1080/19312450709336664 DOI: https://doi.org/10.1080/19312450709336664

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2015a). Devolutivas Pedagógicas das Avaliações de Larga Escala. Recuperado em 14 de junho de 2025, de https://devolutivas.inep.gov.br

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2015b). Fundamentação teórica e metodológica. Devolutivas Pedagógicas das Avaliações de Larga Escala. Recuperado em 14 de junho de 2025, de https://devolutivas.inep.gov.br

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2020). Histórico: Relatório Nacional do PISA 2015. Inep. Recuperado em 29 de outubro de 2025, de https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/pisa/historico

Irvine, J. (2017). A comparison of revised Bloom and Marzano’s new taxonomy of learning. Research in Higher Education Journal, 33. https://eric.ed.gov/?id=EJ1161486

Irvine, J. (2021). Taxonomies in education: Overview, comparison, and future directions. Journal of Education and Development, 5(2), 1-25. https://doi.org/10.20849/JED.V5I2.898 DOI: https://doi.org/10.20849/jed.v5i2.898

Matos, D. A. S. (2014). Confiabilidade e concordância entre juízes: Aplicações na área educacional. Estudos em Avaliação Educacional, 25(59), 298-324. https://doi.org/10.18222/eae255920142750 DOI: https://doi.org/10.18222/eae255920142750

Mol, S. M. (2019). Prova Brasil: Uma análise da complexidade cognitiva de itens de matemática por meio da taxonomia SOLO [Dissertação de mestrado, Universidade Federal de Ouro Preto]. Repositório da UFOP. https://www.repositorio.ufop.br/items/05387b45-da1f-4266-b74ff8d193581ec1

Muri, A. F. (2017). Letramento científico no Brasil e no Japão a partir dos resultados do PISA [Tese de doutorado, Pontifícia Universidade Católica do Rio de Janeiro]. Divisão de Bibliotecas e Documentação. https://www.dbd.puc-rio.br/pergamum/tesesabertas/1311525_2017_completo.pdf

Nunes, S. M. L. (2013). A proficiência matemática dos alunos brasileiros no PISA 2003: Uma análise dos itens de incerteza [Tese de doutorado, Universidade Federal de Minas Gerais]. Repositório Institucional UFMG. https://repositorio.ufmg.br/handle/1843/BUOS-9AZGWC

Oliveira, R. P., & Araujo, G. C. (2005). Qualidade do ensino: Uma nova dimensão da luta pelo direito à educação. Revista Brasileira de Educação, (28), 5-23. https://doi.org/10.1590/S141324782005000100002 DOI: https://doi.org/10.1590/S1413-24782005000100002

Organisation for Economic Co-operation and Development (OECD). (2017). PISA 2015 assessment and analytical framework: Science, reading, mathematic, financial literacy and collaborative problem solving. OECD. https://www.oecd.org/en/publications/pisa-2015-assessment-andanalytical-framework_9789264281820-en.html

Santos Fontanive, N., Gomes Elliot, L., & Klein, R. (2007). Os desafios da apresentação dos resultados da avaliação de sistemas escolares a diferentes públicos. REICE – Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 5(2e), 262-273. https://www.redalyc.org/articulo.oa?id=55150219

Soares, J. F. (2009). Índice de Desenvolvimento da Educação de São Paulo – Idesp: Bases metodológicas. São Paulo em Perspectiva, 23(1), 29-41. http://produtos.seade.gov.br/produtos/spp/v23n01/v23n01_03.pdf

Webb, N. L. (2002). Depth-of-knowledge levels for four content areas [Unpublished paper].

Wells, C. (2015). The structure of observed learning outcomes (SOLO) taxonomy model: How effective is it? Journal of Initial Teacher Inquiry, 1, 37-40. http://dx.doi.org/10.26021/845

Downloads

Published

2025-11-14

How to Cite

Mol, S. M., & Matos, D. A. S. (2025). An analysis of the complexity of mathematics items using Solo taxonomy. Estudos Em Avaliação Educacional, 36, e11415. https://doi.org/10.18222/eae.v36.11415

Issue

Vol. 36 (2025)

Section

Articles

License

Copyright (c) 2025 Solange Maria Mol, Daniel Abud Seabra Matos

Creative Commons License

This work is licensed under a Creative Commons Attribution 4.0 International License.

 

a. Authors retain the copyright and grant the journal the right to first publication.

b. All works are licensed under the Creative Commons Attribution License, which allows the sharing of the paper with acknowledgment of authorship.

Until 2024, Estudos em Avaliação Educacional adopted the Creative Commons Attribution-NonCommercial (CC BY-NC) license for its publications. For texts published from 2025 onwards, the journal will adopt the Creative Commons Attribution (CC BY) license, in line with the principles of Open Science.