Ferramental para Ensino e Aprendizado de Análise de Eficácia de Sistemas de Recuperação da Informação

Dadas as necessidades dos usuários e a grande quantidade de informação disponível,muitos métodos têm sido propostos com o objetivo de gerar resultados cada vezmelhores em diversas atividades, tais como recuperação, classificação e recomendaçãode informação. Neste contexto, um fator de grande importância são as métricas deavaliação dos métodos e o modo como são comparadas suas eficácias. (Ferri et. al.2009; Yilmaz & Robertson, 2010). Assim, a correta avaliação dos resultados e acomparação da qualidade de diferentes sistemas têm sido áreas que atraem a atenção dacomunidade científica. Em recuperação da informação (RI), este processo normalmentebaseia-se em: (i) construção de bases de dados; (ii) definição de tarefas a seremrealizadas sobre esta base; (ii) execução de tarefas seguindo diferentes métodos; (iii)avaliação dos resultados usando as métricas escolhidas; e por fim, (iv) o comparativodos métodos.Muitas vezes um valor numérico obtido através de uma análise utilizando uma métricade avaliação não é o suficiente para um usuário entender o comportamento dosresultado de um sistema de RI. Por isso, é importante utilizar métodos de análise defalhas, permitindo ao usuário ter um melhor entendimento dos resultados obtidos pelosistema de RI avaliado. Estes modelos dão ao usuário a possibilidade de analisar adistribuição e comportamento dos itens ao longo da lista de resultados.Para uma boa avaliação dos resultados, é necessário conhecer as medidas de avaliação,o objetivo de cada uma e as diferenças entre elas. Este trabalho foi realizado com ointuito de dar suporte aos usuários, para que os mesmos adquiram os conhecimentosnecessários para fazer a análise, compreensão e comparação dos resultados de umsistema de RI. O trabalho desenvolvido deu continuidade a projetos anteriores que temcomo base a AnalyzIR, uma ferramenta que vem sendo desenvolvida na UEFS e temcomo objetivo automatizar os processos de análise dos resultados de um sistema de RI.