Zhaochun Ren
Si se puede confiar a un modelo de lenguaje el trabajo que actualmente hace un sistema de recuperación de información — y qué partes de ese trabajo hace realmente bien.
"Is ChatGPT Good at Search?" (2023, con Ren como autor sénior) es uno de los estudios empíricos más limpios sobre si los grandes modelos de lenguaje pueden reemplazar componentes tradicionales de ranking en un pipeline de recuperación. La respuesta resulta ser: para reordenar un conjunto pequeño de candidatos, sí, bastante bien; para la recuperación de primera etapa sobre un corpus amplio, no, en realidad no — y la brecha entre esas dos tareas es una que la mayoría de los artículos centrados en LLM pasa por alto. El trabajo más amplio de Ren en IR conversacional empuja la pregunta más lejos: cuando la recuperación ocurre dentro de una conversación de varios turnos, el sistema está haciendo varias cosas distintas a la vez, y no todas deberían evaluarse con el mismo benchmark.