Luke Zettlemoyer
Ob Sprachmodelle mit offenen Gewichten im Frontier-Maßstab gebaut werden können und ob ihre Faktentreue mit feiner Auflösung gemessen werden kann.
Zettlemoyers Name steht auf einem Werkkomplex, der eher einem Forschungsprogramm ähnelt als einer Liste einzelner Paper — offene große Sprachmodelle, die jeder untersuchen kann (OPT im Jahr 2022 und die offene Modelllinie, die darauf folgte), sowie die Evaluationsinfrastruktur, um zu sagen, ob diese Modelle ihre faktischen Behauptungen sauber halten. FActScore (2023, Hauptautorin Sewon Min) ist die methodisch sorgfältige Version: einen langen generierten Absatz in atomare faktische Behauptungen zerlegen und jede davon gegen eine Wissensquelle bewerten, statt „den ganzen Absatz“ mit einem einzigen Urteil zu scoren. Für ai100 zählt diese Auflösung — ein Modell, das in demselben Satz eine Tatsache richtig und zwei falsch wiedergibt, sollte keine bestandene Bewertung bekommen.