Martin Potthast
Déterminer si des modèles de langage peuvent être utilisés pour juger de la pertinence d'un document par rapport à une requête — et ce qui change quand ils remplacent des évaluateurs humains dans ce rôle.
Pendant des décennies, les jugements de pertinence — les étiquettes qui disent « ce document est pertinent pour cette requête » — ont été produits par des évaluateurs humains, coûteux et lents, mais considérés comme l'étalon-or de l'évaluation en IR. La ligne de travaux "LLMs for Relevance" de Potthast, menée conjointement avec le réseau Webis, a posé la question pratique : jusqu'où un modèle de langage peut-il se rapprocher des jugements de pertinence d'experts humains, et où la substitution se brise-t-elle silencieusement ? Les résultats sont mitigés d'une manière productive — assez proches pour certains types de tâches afin de permettre une évaluation à des échelles de corpus impossibles pour l'annotation humaine, mais assez éloignés dans d'autres pour que tout usage non critique produise des benchmarks systématiquement biaisés.