Charles L. A. Clarke

Clarke pasó tres décadas dentro de la tradición de evaluación TREC, donde la comparación rigurosa de sistemas de recuperación implicaba corpus compartidos, consultas compartidas, juicios de relevancia compartidos y un protocolo explícito para resolver desacuerdos entre evaluadores. Su artículo de 2023 "Evaluating Open-Domain QA in the Era of LLMs" lleva esa disciplina al momento actual, señalando que la mayor parte de la evaluación de QA basada en LLM ha abandonado silenciosamente la mayoría de esas salvaguardas: verdad de referencia de fuente única, jueces automáticos no validados contra humanos, ausencia de protocolo para respuestas técnicamente correctas pero estilísticamente distintas de la referencia. El reinicio metodológico que propone está más cerca de la postura original de TREC que de cualquier cosa actualmente de moda.

Vale la pena seguirlo cuando

se quiere saber cómo era la evaluación rigurosa de QA antes de que los LLM hicieran que todos olvidaran las reglas, y cuáles de esas reglas deberían volver.

Temas

metodología de evaluación al estilo TREC; evaluación de QA en la era de respuestas generadas por LLM; desacuerdo entre evaluadores y construcción de verdad de referencia.

Obras clave

libro de texto Information Retrieval: Implementing and Evaluating Search Engines (2010, con Büttcher y Cormack); "Evaluating Open-Domain QA in the Era of LLMs" (2023, coautor); décadas de organización y participación en TREC.