Генерация с поиском (RAG) Методологи Напрямую в основе методологии ai100

Furu Wei

Использует собственное параметрическое знание языковой модели, чтобы поиск находил документ, который пользователь на самом деле пытался найти.

Стандартное направление потока информации в системах генерации с поиском идёт от поиска к генерации: сначала извлечь документы, затем написать ответ. Query2doc (2023, где Wei — старший автор) инвертирует этот порядок на входном этапе: по запросу пользователя языковая модель сначала генерирует правдоподобный документ-ответ, а затем этот синтетический документ используется как дополнительный сигнал на этапе поиска. Трюк работает потому, что такие сгенерированные документы, хотя и ненадёжны в конкретных фактах, обычно надёжно указывают, документ какого типа пользователь неявно ожидает найти. Именно этот сигнал и нужен векторным ретриверам.

Стоит читать, когда: вы хотите думать о поиске и генерации как о двунаправленном процессе, а не как об одностороннем конвейере.
Темы: расширение запросов через синтетические документы, сгенерированные LLM; обратное направление стандартного RAG; вклад фундаментальных моделей в методологию поиска.
Ключевые работы: Query2doc: Query Expansion with Large Language Models (2023, старший автор); более широкие вклады в фундаментальные модели и предобучение, включая BEiT, семейство LayoutLM и MiniLM.