Comparação de Regras de Seleção de Itens em Testes Adaptativos Computadorizados: um estudo de caso no ENEM

Computerized Adaptive Testing (CAT) based on Item Response Theory allows more accurate assessments with fewer questions than the classic P&P test (Paper and Pencil). Studies showed that CAT using the Fisher Information selection rule reduced the size of the Mathematics and its Technologies ENEM test by 26.6% in relation to the P&P test, which has 45 items. However, the impact of the use of different item selection rules on the estimation of the examinees scores is unknown. The objective of this work is to analise this impact. The results show that the size of this test can be reduzed more with the use of other item selection rules without significant loss of accuracy in the estimation of the proficiency level. Resumo. Testes Adaptativos Computadorizados (CAT), baseados na Teoria de Resposta ao Item, permitem fazer testes mais precisos com um menor número de questões que a prova clássica P&P (Paper and Pencil). Estudos mostraram que CAT, utilizando a regra de seleção de Informação de Fisher, reduziu em 26,6% o tamanho da prova de Matemática e suas Tecnologias do ENEM de 2012 em relação a prova P&P de 45 itens. Entretanto, não é conhecido o impacto na estimativa dos escores dos respondentes no uso de diferentes regras de seleção de itens. O objetivo deste trabalho é analisar esse impacto. Os resultados mostram que o tamanho dessa prova pode ser reduzido ainda mais com o uso de outras regras de seleção de itens, sem perda significativa da precisão na estimativa dos escores dos respondentes. 1. Introdução A etapa de avaliação de estudantes sempre foi muito importante no processo de aprendizagem. Na computação, os sistemas de aprendizado geradores de testes auxiliam os estudantes a identificarem se atingiram o nı́vel adequado de conhecimento aprendido [Guzmán and Conejo 2004]. Um exemplo desse tipo de sistema é o Teste Adaptativo Computadorizado (do inglês, Computerized Adaptive Testing – CAT). CATs são testes administrados por computadores que, de forma eficiente, reduzem o número de itens (questões), mantendo um melhor diagnóstico do desempenho do respondente [Kovatcheva and Nikolov 2009, Spenassato et al. 2016]. No CAT clássico, inicialmente, é selecionada uma questão e, a cada nova, é estimado o nı́vel de proficiência do estudante. Caso o critério de parada não seja atendido, outra questão é selecionada. DOI: 10.5753/cbie.sbie.2018.1453 1453 Anais do XXIX Simpósio Brasileiro de Informática na Educação (SBIE 2018) VII Congresso Brasileiro de Informática na Educação (CBIE 2018)