Dimensionality and proficiency scale at an interdisciplinary test

Authors

DOI:

https://doi.org/10.18222/eae.v30i74.5324

Keywords:

Item Response Theory, Assessment Scale, Factor Analysis, Admission Exam.

Abstract

This paper analyzes the dimensionality of the general knowledge test for admission into the Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp) and consolidates the construction of a scale in a test that includes items associated with the various subjects forming the high school curriculum in the state of São Paulo. Although the test is an interdisciplinary one, this study shows the feasibility of adopting a one-dimensional measure through item response theory. In addition, we used full information factor analysis to map the skills and competencies measured by the test. The main factors found were logical reasoning, proficiency in English and knowledge of Humanities.

Downloads

Download data is not yet available.

Author Biographies

Ligia Maria Vettorato Trevisan, Fundação para o Vestibular da Universidade Estadual Paulista (Vunesp), São Paulo-SP, Brasil

Possui graduação em Licenciatura em Química pela Faculdade de Filosofia, Ciências e Letras de Araraquara (1967), Mestrado em Ciências de Alimentos pela UNICAMP (1972) e Doutorado em Química pela Universidade de São Paulo (1982). É Professora Livre docente em Química Orgânica (1994) pelo Instituto de Química da Universidade Estadual Paulista Júlio de Mesquita Filho, Campus de Araraquara, onde atuou de 1972 até 1994, em regime de dedicação exclusiva junto ao Departamento de Química Orgânica. Atualmente é assessora da Fundação VUNESP.

Pedro Alberto Barbetta, Universidade Federal de Santa Catarina (UFSC), Florianópolis-SC, Brasil

Professor titular da Universidade Federal de Santa Catarina (UFSC), Depto de Informática e Estatística. Pesquisador-bolsista da VUNESP. Graduação em Estatística pela Escola Nacional de Ciências Estatísticas (1980), mestrado em Matemática Aplicada (Estatística) pelo Instituto Nacional de Matemática Pura e Aplicada (1984) e doutorado em Engenharia de Produção pela UFSC (1998). Professor efetivo do Mestrado Profissional de Métodos e Gestão em Avaliação. Pesquisador Bolsista da Fundação VUNESP.

Dalton Francisco de Andrade, Universidade Federal de Santa Catarina (UFSC), Florianópolis-SC, Brasil

Possui graduação em Licenciatura em Matemática pela Universidade de São Paulo (1973), Mestrado em Estatística pela Universidade de São Paulo (1977) e PhD em Biostatistics pela University of North Carolina at Chapel Hill, USA (1984). Atualmente é professor titular da UFSC, com atuação em programas de pós-graduação dos Departamentos de Engenharia de Produção (PPGEP) e de Informática e Estatística (PPGMGA), Pesquisador Associado da Fundação Vunesp e Consultor do Inep/Mec.

Guaracy Tadeu Rocha, Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp), Botucatu-SP, Brasil

Possui graduação em Licenciatura e em Bacharelado em Ciências Biológicas pelo Instituto Básico de Biologia Médica e Agrícola da UNESP (1983), Mestrado e Doutorado em Ciências Biológicas AC Genética (1993), pelo Instituto de Biociências da UNESP, Botucatu. É Professor em Genética e Evolução pelo Instituto de Biociências da Universidade Estadual Paulista Júlio de Mesquita Filho, Câmpus de Botucatu, onde atua desde 1988, em regime de dedicação exclusiva junto ao Departamento de Genética.

Tânia Cristina Arantes de Macedo Azevedo, Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp), Guaratinguetá-SP, Brasil

Possui graduação em Bacharelado em Física pela Universidade de São Paulo (1979), mestrado em Tecnologia Nuclear pelo Instituto de Pesquisa Energéticas e Nucleares (1982) e doutorado em Física pela Universidade de São Paulo (1989). Atualmente é consultora do Conselho Estadual de Educação do Estado de São Paulo e avaliadora institucional e de curso de graduação do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Professor assistente doutor da Universidade Estadual Paulista Júlio de Mesquita Filho desde 1982, lotada no Departamento de Física e Química da Faculdade de Engenharia de Guaratinguetá. Consultora do Conselho Estadual de Educação do Estado de São Paulo.

References

AMERICAN EDUCATIONAL RESEARCH ASSOCIATION; AMERICAN PSYCHOLOGICAL ASSOCIATION; NATIONAL COUNCIL ON MEASUREMENT IN EDUCATION. Standards for educational and psychological testing. Washington, DC: American Educational Research Association, 2014.

ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. Teoria da resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.

BARBETTA, P. A.; TREVISAN, L. M. V.; TAVARES, H. R.; AZEVEDO, T. C. A. M. Aplicação da teoria da resposta ao item uni e multidimensional na análise da prova de conhecimentos gerais do vestibular da Unesp. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 57, p. 280-302, jan./abr. 2014. DOI: https://doi.org/10.18222/eae255720142832

BEATON, A. E.; ALLEN, N. L. Interpreting scales through scale anchoring. Journal of Educational Statistics, Washington, v. 17, n. 2, p. 191-204, June 1992. DOI: https://doi.org/10.3102/10769986017002191

BRASIL. Ministério da Educação. Parâmetros curriculares nacionais para o ensino médio. Brasília, 2000. Disponível em: portal.mec.gov.br/expansao-da-rede-federal/195-secretarias-112877938/sebeducacao-basica-2007048997/12598-publicacoes-sp-265002211. Acesso em: 7 dez. 2018.

BRASIL. Ministério da Educação. Diretrizes curriculares nacionais para educação básica. Brasília, 2013. Disponível em: http://portal.mec.gov.br/docman/julho-2013-pdf/13677-diretrizes-educacao-basica2013-pdf/file. Acesso em: 7 dez. 2018.

BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Matrizes e escalas. Brasília, 2015. Disponível em: http://provabrasil.inep.gov.br/escalas-de-proficiencia. Acesso em: 26 set. 2018.

CAI, L.; HANSEN, M. Limited-information goodness-of-fit testing of hierarchical item factor models. British Journal of Mathematical and Statistical Psychology, Leicester, UK, v. 66, n. 2, p. 245-276, May 2013. DOI: https://doi.org/10.1111/j.2044-8317.2012.02050.x

CHALMERS, P. Mirt: a multidimensional item response theory package for the R Environment. Journal of Statistical Software, Innsbruck, Austria, v. 48, n. 6, p. 1-29, May 2012. Disponível em: DOI: https://doi.org/10.18637/jss.v048.i06

www.jstatsoft.org/v48/i06/. Acesso em: jun. 2015.

CHALMERS, P. Package mirt: multidimensional item response theory. Version 1.25. 2017. Disponível em: http://cran.r-project.org/web/packages/mirt/mirt.pdf. Acesso em: set. 2017.

CHEN, W. H.; THISSEN, D. Local dependence indexes for item pairs using item response theory. Journal of Educational and Behavioral Statistics, Washington, v. 22, n. 3, p. 265-289, Sept. 1997. DOI: https://doi.org/10.3102/10769986022003265

COELHO, E. C. Teoria da resposta ao item: desafios e perspectivas em exame multidisciplinar. 2014. 189 f. Tese (Doutorado em Métodos Numéricos em Engenharia) – Universidade Federal do Paraná, Curitiba, 2014.

KOLEN, M. J.; BRENNAN, R. L. Test equating, scaling, and linking: methods and practices. New York: Springer, 2004. DOI: https://doi.org/10.1007/978-1-4757-4310-4

GARRIDO, L. E.; ABAD, J. A.; PONSODA, V. A new look at horn’s parallel analysis with ordinal variables. Psychological Methods, Washington, v. 18, n. 4, p. 454-474, Oct. 2013. DOI: https://doi.org/10.1037/a0030005

GOMES, D. E. Avaliação pedagógica para uma escala única do Enem. 2018. Dissertação (Mestrado em Métodos e Gestão em Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2018.

OLSSON, U.; DRASGOW, F. E.; DORANS, N. The polyserial correlation coefficient. Psychometrika, Switzerland, v. 47, n. 3, p. 337-347, Sept. 1982. DOI: https://doi.org/10.1007/BF02294164

PASQUALI, L. Psicometria: teoria dos testes na psicologia e na educação. Petrópolis: Vozes, 2003.

QUARESMA, E. S. Modelagem para construção de escalas avaliativas e classificatórias em exames seletivos utilizando teoria da resposta ao item uni e multidimensional. 2014. 187 f. Tese (Doutorado em Ciências) – Escola Superior de Agricultura “Luiz de Queiroz” (Esalq), Universidade de São Paulo, Piracicaba, 2014.

R CORE TEAM. R: A language and environment for statistical computing. Vienna, Austria: R Foundation for Statistical Computing, 2017. Disponível em: www.r-project.org. Acesso em: set. 2017.

RECKASE, M. Multidimensional item response theory. New York: Springer, 2009. DOI: https://doi.org/10.1007/978-0-387-89976-3

REVELLE, W. An introduction to psychometric theory with applications in R. FreeTextbookList.com. 2017a. Disponível em: http://personality-project.org/r/book/. Acesso em: 8 set. 2017.

REVELLE, W. Psych: procedures for psychological, psychometric, and personality Research. R package version 1.7.5. 2017b. Disponível em: https://CRAN.R-project.org/package=psych. Acesso em: 8 set. 2017.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Ciências da Natureza e suas tecnologias. Ensino Fundamental – Ciclo II e Ensino Médio. São Paulo, 2011a. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/documentos/235.pdf. Acesso em: 30 nov. 2018.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Ciências Humanas e suas tecnologias. Ensino Fundamental – Ciclo II e Ensino Médio. São Paulo, 2011b. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/documentos/236.pdf. Acesso em: 30 nov. 2018.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Linguagens, códigos e suas tecnologias. Ensino Fundamental – Ciclo II e Ensino Médio. São Paulo, 2011c. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/documentos/237.pdf. Acesso em: 30 nov. 2018.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Matemática e suas tecnologias. São Paulo, 2011d. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/ documentos/238.pdf. Acesso em: 30 nov. 2018.

SCHILLING, S. G. The role of psychometric modeling in test validation: an application of multidimensional item response theory. Measurement: Interdisciplinary Research & Perspective, Philadelphia, USA, v. 5, n. 2, p. 93-106, Aug. 2009. DOI: https://doi.org/10.1080/15366360701487021

THIMOTY, A. B. Confirmatory factor analysis for applied research. 2. ed. New York: The Guilford Press, 2015.

VAN DER LINDEN, W. J. Handbook of item response theory. Volume one: models. New York: CRC Press, 2016. DOI: https://doi.org/10.1201/9781315374512

VIEIRA, N. A. As provas das quatro áreas do Enem vista como prova única na óptica de modelos da teoria da resposta ao item uni e multidimensionais. 2016. Dissertação (Mestrado em Métodos e Gestão em Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2016. Disponível em: https:// pergamum.ufsc.br/pergamum/biblioteca/index.php. Acesso em: 23 jul. 2017.

WEAKLIEM, D. L. A critique of the bayesian information criterion for model selection. Sociological Methods & Research, London, v. 27, n. 3, p. 359-97, Feb. 1999. DOI: https://doi.org/10.1177/0049124199027003002

Downloads

Published

2019-10-02

How to Cite

Trevisan, L. M. V., Barbetta, P. A., Andrade, D. F. de, Rocha, G. T., & Azevedo, T. C. A. de M. (2019). Dimensionality and proficiency scale at an interdisciplinary test. Estudos Em Avaliação Educacional, 30(74), 392–419. https://doi.org/10.18222/eae.v30i74.5324

Issue

Vol. 30 No. 74 (2019): maio/ago. 2019

Section

Articles

License

Copyright (c) 2019 Ligia Maria Vettorato Trevisan, Pedro Alberto Barbetta, Dalton Francisco de Andrade, Guaracy Tadeu Rocha, Tânia Cristina Arantes de Macedo Azevedo

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

 

a. Authors retain the copyright and grant the journal the right to first publication.

b. All works are licensed under the Creative Commons Attribution License, which allows the sharing of the paper with acknowledgment of authorship.

Until 2024, Estudos em Avaliação Educacional adopted the Creative Commons Attribution-NonCommercial (CC BY-NC) license for its publications. For texts published from 2025 onwards, the journal will adopt the Creative Commons Attribution (CC BY) license, in line with the principles of Open Science.