Weijia Shi
Как заставить генерацию с поиском работать, когда сама языковая модель — закрытый чёрный ящик, который нельзя дообучить.
Доминирующее предположение в системах генерации с поиском состоит в том, что ретривер и генератор нужно обучать вместе — или, по крайней мере, дообучать один под другой. REPLUG (2023, ведущий автор) показал, что это необязательно: ретривер можно обучать относительно закрытой языковой модели, рассматриваемой как замороженная скоринговая функция-«чёрный ящик», и полученная система улучшает ответы LLM, вообще не трогая её веса. Методологическое следствие в том, что исследования генерации с поиском перестали быть применимыми только к моделям с открытыми весами; без этого сдвига они не были бы релевантны для оценки систем вроде крупных коммерческих AI-движков.