Graham Neubig

Neubigs Veröffentlichungsweg kreuzt drei Bereiche, die die meisten anderen Forscher als getrennte Felder behandeln: maschinelle Übersetzung und ihre Evaluation, retrieval-augmentierte Generierung und die agentischen LLM-Systeme, die auf beidem aufsetzen. FLARE (Forward-Looking Active REtrieval, 2023, mit Jamie Callan und anderen) liegt genau in der Mitte dieses Dreiecks — ein System, das nicht nur einmal am Anfang abruft, sondern iterativ, indem es vorhersagt, was der nächste Satz brauchen wird, bevor es ihn generiert. Ihn zu lesen ist eine Möglichkeit, die Engineering-Schicht im Blick zu behalten: Eine benchmark-Zahl bedeutet wenig, wenn das System, das sie hervorgebracht hat, die richtigen Dinge nicht tatsächlich in der richtigen Reihenfolge abgerufen, integriert und verifiziert hat.

Lesenswert, wenn

man über RAG, Evaluation und agentische Systeme als einen Stack nachdenken muss statt als drei lose gekoppelte Forschungsstränge.

Themen

vorausschauendes iteratives Retrieval; MT- und NLG-Bewertungsmethodik; quelloffene agentische LLM-Systeme.

Zentrale Arbeiten

FLARE / Active Retrieval-Augmented Generation (2023, Mitautor); compare-mt und SacreBLEU-nahe Werkzeuge für MT-Evaluation; OpenDevin / All Hands AI-Arbeit an agentischen Systemen (2024, laufend).