Explorando Teoria de Resposta ao Item na Avaliação de Pensamento Computacional: um Estudo em Questões da Competição Bebras

Evaluating Computational Thinking (CT) is a research gap, mainly due to the complexity of assessing cognitive abilities. Although the Bebras Challenge is an initiative to stimulate PC, we still do not know its reliability to measure CT. In this exploratory study, we investigated whether the tasks produced for the Bebras Challenge can be used to assess CT using the Item Response Theory. The results showed that the tasks have not only moderate and high discrimination but also easy and medium difficulty level. However, the analyzed tasks do not present adequate level of reliability to be used as a measuring instrument. Resumo. Avaliar Pensamento Computacional (PC) é uma questão de pesquisa em aberto, principalmente pela complexidade de se avaliar habilidades cognitivas. Embora a competição Bebras seja uma iniciativa para estimular PC, ainda não sabemos sua adequação para mensurar PC. Neste estudo exploratório, investigamos se as questões produzidas para a competição Bebras podem ser usadas para avaliação de PC usando como método a Teoria de Resposta ao Item para estimar os parâmetros dos itens. Os resultados apontaram que as questões analisadas apresentam discriminação moderada e alta, e dificuldade fácil e moderada. Entretanto, o conjunto de questões analisado ainda não apresenta nı́vel de confiabilidade adequado para ser usado como instrumento avaliativo.