PANORAMA DOS SISTEMAS E MODELOS CONTEMPORÂNEOS DE AVALIAÇÃO DE LIVROS ACADÊMICOS

Situado no contexto da comunicação científica e da avaliação da produção acadêmica, o presente estudo propõe mapear e descrever os sistemas e modelos contemporâneos de avaliação de livros acadêmicos. Ao longo da pesquisa constatou-se que a avaliação da qualidade e do impacto dos livros encontra-se em situação ainda incipiente face à avaliação de artigos e periódicos científicos. No entanto, observaram-se alguns esforços no sentido de construir metodologias específicas para avaliar os livros produzidos no âmbito acadêmico. A fase inicial do estudo foi dedicada à identificação e ao mapeamento de plataformas, sistemas, aplicativos e outras iniciativas correntes, por meio de pesquisa documental de natureza exploratória durante a qual foram consultados especialistas, sistemas governamentais, ferramentas de busca, grupos de pesquisa, além da mineração e do exame de referências localizadas em documentos que remetiam a métodos de avaliação de livros. O exame desses documentos e de artigos publicados sobre o tema ensejou a elaboração de uma matriz de coleta de dados utilizada para organizar os sistemas e modelos identificados de acordo com um grupo de variáveis: tipologia da avaliação, técnicas utilizadas para reunir informações sobre as obras, produto gerado e tipo de impacto mensurado. Os resultados evidenciaram a existência de 24 modelos e sistemas de avaliação, a maioria envolvendo iniciativas comerciais, e outros resultantes de projetos de cientistas e grupos de pesquisa e de modelos institucionais e governamentais cujo principal interesse reside na avaliação da atividade científica de países e regiões. Embora apresentem variações nos indicadores aferidos e nos métodos de avaliação, a maioria (71%) dos modelos se dedica essencialmente a avaliar indiretamente a qualidade e o impacto dos livros acadêmicos, tendência que dificulta a observação de outros aspectos característicos dos livros, que envolvem indicadores de natureza multidimensional, como os socioculturais.