Hannaneh Hajishirzi

„When Not to Trust Language Models“ (2023, mit Mitwirkenden von UW und AI2) ist die sauberste Formulierung einer Frage, um die das Feld lange herumgeredet hatte: Das interne Wissen eines Sprachmodells ist je nach Thema und Häufigkeit ungleichmäßig, und eine redliche Evaluation muss Fakten, die das Modell tatsächlich kennt, von Fakten unterscheiden, bei denen es nur sicher klingt. Hajishirzis breiteres Werk — die Leitung der offenen Modelllinie bei AI2, aus der OLMo und die Tulu-Post-Training-Familie hervorgingen — erweitert dieselbe Logik vorgelagert: Wenn man untersuchen will, warum Modelle halluzinieren, muss man Modelle untersuchen, die man öffnen kann, nicht solche, die hinter einer geschlossenen API ausgeliefert werden.

Lesenswert, wenn

man Bewertungsmethodik für Faktentreue will, die auf Modellen mit offenen Gewichten funktioniert, die man auseinandernehmen kann, statt nur auf dem, was die neueste geschlossene API heute zurückgibt.

Themen

parametrisches vs. abgerufenes Wissen in LLMs; Atomic-Fact-Scoring für Faktentreue; der offene Modell-Evaluationsstack (OLMo, Tulu).

Zentrale Arbeiten

„When Not to Trust Language Models“ (2023, Mitautorin); OLMo open language model (2024, Mitautorin); Tulu post-training framework (2023, Mitautorin).