Impact du « biais des ex aequo » dans les évaluations de recherche d’information

Cet article considere la problematique de l’evaluation en recherche d’information, en particulier dans le cadre de Trec avec le programme trec_eval. Nous montrons que les systemes de RI ne sont pas uniquement evalues en fonction de la pertinence des documents qu’ils restituent. En effet, dans le cas de documents ex aequo (trouves avec le meme score) leur nom est utilise pour les departager. Nous assimilons cette facon de departager les ex aequo a un biais experimental qui influence les scores attribues aux systemes, et argumentons en faveur d’une strategie pour les departager plus equitablement. L’etude de 22 editions de Trec revele une difference significative entre la strategie conventionnelle et inequitable de trec_eval et les strategies equitables proposees. Ces resultats experimentaux suggerent l’integration des strategies proposees dans trec_eval afin d’encourager la realisation d’experimentations plus equitables.