Dimensionalidade e escala de proficiência em uma prova interdisciplinar

Autores

DOI:

https://doi.org/10.18222/eae.v30i74.5324

Palavras-chave:

Teoria da Resposta ao Item, Escala de Avaliação, Análise Fatorial, Vestibular.

Resumo

O artigo apresenta uma análise da dimensionalidade da prova de conhecimentos gerais do vestibular da Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp) e consolida a construção de uma escala em uma prova que inclui itens associados às diferentes disciplinas integrantes do currículo do ensino médio no Estado de São Paulo. Embora a prova seja interdisciplinar, esse estudo mostra a viabilidade de se adotar uma medida unidimensional pela teoria da resposta ao item. Além disso, por meio de uma análise fatorial de informação completa, foi possível identificar quais habilidades e competências a prova está medindo. Os fatores que mais se destacaram foram o raciocínio lógico, a proficiência em Língua Inglesa e o conhecimento em Humanidades.

Downloads

Não há dados estatísticos.

Biografia do Autor

Ligia Maria Vettorato Trevisan, Fundação para o Vestibular da Universidade Estadual Paulista (Vunesp), São Paulo-SP, Brasil

Possui graduação em Licenciatura em Química pela Faculdade de Filosofia, Ciências e Letras de Araraquara (1967), Mestrado em Ciências de Alimentos pela UNICAMP (1972) e Doutorado em Química pela Universidade de São Paulo (1982). É Professora Livre docente em Química Orgânica (1994) pelo Instituto de Química da Universidade Estadual Paulista Júlio de Mesquita Filho, Campus de Araraquara, onde atuou de 1972 até 1994, em regime de dedicação exclusiva junto ao Departamento de Química Orgânica. Atualmente é assessora da Fundação VUNESP.

Pedro Alberto Barbetta, Universidade Federal de Santa Catarina (UFSC), Florianópolis-SC, Brasil

Professor titular da Universidade Federal de Santa Catarina (UFSC), Depto de Informática e Estatística. Pesquisador-bolsista da VUNESP. Graduação em Estatística pela Escola Nacional de Ciências Estatísticas (1980), mestrado em Matemática Aplicada (Estatística) pelo Instituto Nacional de Matemática Pura e Aplicada (1984) e doutorado em Engenharia de Produção pela UFSC (1998). Professor efetivo do Mestrado Profissional de Métodos e Gestão em Avaliação. Pesquisador Bolsista da Fundação VUNESP.

Dalton Francisco de Andrade, Universidade Federal de Santa Catarina (UFSC), Florianópolis-SC, Brasil

Possui graduação em Licenciatura em Matemática pela Universidade de São Paulo (1973), Mestrado em Estatística pela Universidade de São Paulo (1977) e PhD em Biostatistics pela University of North Carolina at Chapel Hill, USA (1984). Atualmente é professor titular da UFSC, com atuação em programas de pós-graduação dos Departamentos de Engenharia de Produção (PPGEP) e de Informática e Estatística (PPGMGA), Pesquisador Associado da Fundação Vunesp e Consultor do Inep/Mec.

Guaracy Tadeu Rocha, Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp), Botucatu-SP, Brasil

Possui graduação em Licenciatura e em Bacharelado em Ciências Biológicas pelo Instituto Básico de Biologia Médica e Agrícola da UNESP (1983), Mestrado e Doutorado em Ciências Biológicas AC Genética (1993), pelo Instituto de Biociências da UNESP, Botucatu. É Professor em Genética e Evolução pelo Instituto de Biociências da Universidade Estadual Paulista Júlio de Mesquita Filho, Câmpus de Botucatu, onde atua desde 1988, em regime de dedicação exclusiva junto ao Departamento de Genética.

Tânia Cristina Arantes de Macedo Azevedo, Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp), Guaratinguetá-SP, Brasil

Possui graduação em Bacharelado em Física pela Universidade de São Paulo (1979), mestrado em Tecnologia Nuclear pelo Instituto de Pesquisa Energéticas e Nucleares (1982) e doutorado em Física pela Universidade de São Paulo (1989). Atualmente é consultora do Conselho Estadual de Educação do Estado de São Paulo e avaliadora institucional e de curso de graduação do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Professor assistente doutor da Universidade Estadual Paulista Júlio de Mesquita Filho desde 1982, lotada no Departamento de Física e Química da Faculdade de Engenharia de Guaratinguetá. Consultora do Conselho Estadual de Educação do Estado de São Paulo.

Referências

AMERICAN EDUCATIONAL RESEARCH ASSOCIATION; AMERICAN PSYCHOLOGICAL ASSOCIATION; NATIONAL COUNCIL ON MEASUREMENT IN EDUCATION. Standards for educational and psychological testing. Washington, DC: American Educational Research Association, 2014.

ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. Teoria da resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.

BARBETTA, P. A.; TREVISAN, L. M. V.; TAVARES, H. R.; AZEVEDO, T. C. A. M. Aplicação da teoria da resposta ao item uni e multidimensional na análise da prova de conhecimentos gerais do vestibular da Unesp. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 57, p. 280-302, jan./abr. 2014.

BEATON, A. E.; ALLEN, N. L. Interpreting scales through scale anchoring. Journal of Educational Statistics, Washington, v. 17, n. 2, p. 191-204, June 1992.

BRASIL. Ministério da Educação. Parâmetros curriculares nacionais para o ensino médio. Brasília, 2000. Disponível em: portal.mec.gov.br/expansao-da-rede-federal/195-secretarias-112877938/sebeducacao-basica-2007048997/12598-publicacoes-sp-265002211. Acesso em: 7 dez. 2018.

BRASIL. Ministério da Educação. Diretrizes curriculares nacionais para educação básica. Brasília, 2013. Disponível em: http://portal.mec.gov.br/docman/julho-2013-pdf/13677-diretrizes-educacao-basica2013-pdf/file. Acesso em: 7 dez. 2018.

BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Matrizes e escalas. Brasília, 2015. Disponível em: http://provabrasil.inep.gov.br/escalas-de-proficiencia. Acesso em: 26 set. 2018.

CAI, L.; HANSEN, M. Limited-information goodness-of-fit testing of hierarchical item factor models. British Journal of Mathematical and Statistical Psychology, Leicester, UK, v. 66, n. 2, p. 245-276, May 2013.

CHALMERS, P. Mirt: a multidimensional item response theory package for the R Environment. Journal of Statistical Software, Innsbruck, Austria, v. 48, n. 6, p. 1-29, May 2012. Disponível em:

www.jstatsoft.org/v48/i06/. Acesso em: jun. 2015.

CHALMERS, P. Package mirt: multidimensional item response theory. Version 1.25. 2017. Disponível em: http://cran.r-project.org/web/packages/mirt/mirt.pdf. Acesso em: set. 2017.

CHEN, W. H.; THISSEN, D. Local dependence indexes for item pairs using item response theory. Journal of Educational and Behavioral Statistics, Washington, v. 22, n. 3, p. 265-289, Sept. 1997.

COELHO, E. C. Teoria da resposta ao item: desafios e perspectivas em exame multidisciplinar. 2014. 189 f. Tese (Doutorado em Métodos Numéricos em Engenharia) – Universidade Federal do Paraná, Curitiba, 2014.

KOLEN, M. J.; BRENNAN, R. L. Test equating, scaling, and linking: methods and practices. New York: Springer, 2004.

GARRIDO, L. E.; ABAD, J. A.; PONSODA, V. A new look at horn’s parallel analysis with ordinal variables. Psychological Methods, Washington, v. 18, n. 4, p. 454-474, Oct. 2013.

GOMES, D. E. Avaliação pedagógica para uma escala única do Enem. 2018. Dissertação (Mestrado em Métodos e Gestão em Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2018.

OLSSON, U.; DRASGOW, F. E.; DORANS, N. The polyserial correlation coefficient. Psychometrika, Switzerland, v. 47, n. 3, p. 337-347, Sept. 1982.

PASQUALI, L. Psicometria: teoria dos testes na psicologia e na educação. Petrópolis: Vozes, 2003.

QUARESMA, E. S. Modelagem para construção de escalas avaliativas e classificatórias em exames seletivos utilizando teoria da resposta ao item uni e multidimensional. 2014. 187 f. Tese (Doutorado em Ciências) – Escola Superior de Agricultura “Luiz de Queiroz” (Esalq), Universidade de São Paulo, Piracicaba, 2014.

R CORE TEAM. R: A language and environment for statistical computing. Vienna, Austria: R Foundation for Statistical Computing, 2017. Disponível em: www.r-project.org. Acesso em: set. 2017.

RECKASE, M. Multidimensional item response theory. New York: Springer, 2009.

REVELLE, W. An introduction to psychometric theory with applications in R. FreeTextbookList.com. 2017a. Disponível em: http://personality-project.org/r/book/. Acesso em: 8 set. 2017.

REVELLE, W. Psych: procedures for psychological, psychometric, and personality Research. R package version 1.7.5. 2017b. Disponível em: https://CRAN.R-project.org/package=psych. Acesso em: 8 set. 2017.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Ciências da Natureza e suas tecnologias. Ensino Fundamental – Ciclo II e Ensino Médio. São Paulo, 2011a. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/documentos/235.pdf. Acesso em: 30 nov. 2018.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Ciências Humanas e suas tecnologias. Ensino Fundamental – Ciclo II e Ensino Médio. São Paulo, 2011b. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/documentos/236.pdf. Acesso em: 30 nov. 2018.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Linguagens, códigos e suas tecnologias. Ensino Fundamental – Ciclo II e Ensino Médio. São Paulo, 2011c. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/documentos/237.pdf. Acesso em: 30 nov. 2018.

SÃO PAULO (Estado). Secretaria da Educação. Currículo do Estado de São Paulo. Matemática e suas tecnologias. São Paulo, 2011d. Disponível em: http://www.educacao.sp.gov.br/a2sitebox/arquivos/ documentos/238.pdf. Acesso em: 30 nov. 2018.

SCHILLING, S. G. The role of psychometric modeling in test validation: an application of multidimensional item response theory. Measurement: Interdisciplinary Research & Perspective, Philadelphia, USA, v. 5, n. 2, p. 93-106, Aug. 2009.

THIMOTY, A. B. Confirmatory factor analysis for applied research. 2. ed. New York: The Guilford Press, 2015.

VAN DER LINDEN, W. J. Handbook of item response theory. Volume one: models. New York: CRC Press, 2016.

VIEIRA, N. A. As provas das quatro áreas do Enem vista como prova única na óptica de modelos da teoria da resposta ao item uni e multidimensionais. 2016. Dissertação (Mestrado em Métodos e Gestão em Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2016. Disponível em: https:// pergamum.ufsc.br/pergamum/biblioteca/index.php. Acesso em: 23 jul. 2017.

WEAKLIEM, D. L. A critique of the bayesian information criterion for model selection. Sociological Methods & Research, London, v. 27, n. 3, p. 359-97, Feb. 1999.

Downloads

Publicado

02-10-2019

Como Citar

Trevisan, L. M. V., Barbetta, P. A., Andrade, D. F. de, Rocha, G. T., & Azevedo, T. C. A. de M. (2019). Dimensionalidade e escala de proficiência em uma prova interdisciplinar. Estudos Em Avaliação Educacional, 30(74), 392–419. https://doi.org/10.18222/eae.v30i74.5324

Edição

v. 30 n. 74 (2019): maio/ago. 2019

Seção

Artigos

Licença

Copyright (c) 2019 Estudos em Avaliação Educacional

Creative Commons License

Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial 4.0 International License.

Autores que publicam nesta revista concordam com os seguintes termos:

a. Autores mantém os direitos autorais e concedem à revista o direito de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons BY-NC do tipo "Atribuição Não Comercial" que permite o compartilhamento do trabalho com reconhecimento da autoria e publicação inicial nesta revista.

b. Autores têm autorização para assumir contratos adicionais separadamente, para distribuição não-exclusiva da versão do trabalho publicada nesta revista (ex.: publicar em repositório institucional ou como capítulo de livro), com reconhecimento de autoria e publicação inicial nesta revista.

c. Autores têm permissão e são estimulados a publicar e distribuir seu trabalho online (ex.: em repositórios institucionais ou na sua página pessoal) a qualquer ponto antes ou durante o processo editorial, já que isso pode gerar alterações produtivas, bem como aumentar o impacto e a citação do trabalho publicado (Veja O Efeito do Acesso Livre).

Artigos mais lidos pelo mesmo(s) autor(es)