Zhaochun Ren
Si l'on peut faire confiance à un modèle de langage pour assurer le travail actuellement fait par un système de recherche d'information — et quelles parties de ce travail il accomplit effectivement bien.
"Is ChatGPT Good at Search?" (2023, avec Ren comme auteur senior) est l'une des études empiriques les plus nettes sur la possibilité que les grands modèles de langage remplacent les composants de classement traditionnels dans un pipeline de recherche. La réponse est la suivante : pour reclasser un petit ensemble de candidats, oui, assez bien ; pour la recherche de première étape sur un vaste corpus, non, pas vraiment — et l'écart entre ces deux tâches est un point que la plupart des articles centrés sur les LLM passent sous silence. Les travaux plus larges de Ren en recherche d'information conversationnelle poussent la question plus loin : lorsque la recherche se déroule dans une conversation multi-tours, le système fait plusieurs choses à la fois, et elles ne devraient pas toutes être évaluées par benchmark de la même manière.