Zhaochun Ren
Можно ли доверить языковой модели работу, которую сейчас выполняет система информационного поиска, — и какие части этой работы у неё действительно получаются.
"Is ChatGPT Good at Search?" (2023, где Ren был старшим автором) — одно из самых ясных эмпирических исследований о том, могут ли большие языковые модели заменить традиционные компоненты ранжирования в поисковом конвейере. Ответ оказался таким: для переранжирования небольшого набора кандидатов — да, довольно хорошо; для поиска первого этапа по большому корпусу — нет, не особенно. Разрыв между этими двумя задачами — именно тот, который большинство LLM-центричных статей сглаживает. Более широкая работа Ren по диалоговому информационному поиску двигает вопрос дальше: когда поиск происходит внутри многоходового разговора, система делает сразу несколько разных вещей, и их нельзя оценивать одним и тем же benchmark-протоколом.