Weijia Shi

Die dominante Annahme in retrieval-augmentierten Systemen ist, dass man den Retriever und den Generator gemeinsam trainiert oder zumindest einen von beiden per Feinabstimmung (Fine-Tuning) an den anderen anpasst. REPLUG (2023, Hauptautorin) zeigte, dass das nicht nötig ist — der Retriever kann gegen ein geschlossenes Sprachmodell trainiert werden, das als eingefrorene Blackbox-Scoring-Funktion behandelt wird, und das resultierende System verbessert die Ausgaben des LLM, ohne je seine Gewichte anzutasten. Die methodische Konsequenz ist, dass Forschung zur Retrieval-Augmentierung nicht länger etwas war, das nur für Modelle mit offenen Gewichten galt. Genau dadurch wurde sie relevant für die Evaluation von Systemen wie den großen kommerziellen AI-Engines.

Lesenswert, wenn

man verstehen will, wie Retrieval Closed-Source-LLMs verbessert, die weder ihre Gewichte noch ihre Trainingssignale offenlegen.

Themen

Blackbox-retrieval-augmentierte Generierung; Retriever-Training ohne Zugriff auf das Sprachmodell; die in früherer RAG-Forschung vergrabenen Architekturannahmen.

Zentrale Arbeiten

REPLUG: Retrieval-Augmented Black-Box Language Models (2023, Hauptautorin); In-Context RALM (2023, Mitautorin).