Furu Wei
Das parametrische Wissen eines Sprachmodells zu nutzen, damit Retrieval das Dokument findet, das der Nutzer eigentlich gesucht hat.
Die Standardrichtung des Informationsflusses in retrieval-augmentierten Systemen verläuft von Retrieval zu Generierung: zuerst Dokumente abrufen, dann die Antwort schreiben. Query2doc (2023, mit Wei als Seniorautor) kehrt diese Richtung am Frontend um — zur Nutzeranfrage lässt man das Sprachmodell zunächst ein plausibel aussehendes Antwortdokument erzeugen und nutzt dieses synthetische Dokument dann als zusätzliches Signal im Retrieval-Schritt. Der Trick funktioniert, weil solche generierten Dokumente zwar bei konkreten Fakten unzuverlässig sind, aber meist zuverlässig darin, welche Art von Dokument der Nutzer implizit zu finden erwartet — und genau dieses Signal brauchen Vektor-Retriever.