Luke Zettlemoyer
Déterminer si des modèles de langage à poids ouverts peuvent être construits à l'échelle des modèles de pointe, et si leur factualité peut être mesurée à granularité fine.
Le nom de Zettlemoyer apparaît dans un ensemble de travaux qui ressemble davantage à un programme de recherche qu'à une simple liste d'articles — de grands modèles de langage ouverts que chacun peut examiner (OPT en 2022 et la lignée de modèles ouverts qui a suivi), ainsi que l'infrastructure d'évaluation permettant de dire si ces modèles restent exacts dans leurs affirmations factuelles. FActScore (2023, premier auteur Sewon Min) en est la version méthodologiquement soigneuse : découper un long paragraphe généré en affirmations factuelles atomiques et noter chacune par rapport à une source de connaissance, plutôt que de noter « tout le paragraphe » avec un jugement unique. Pour ai100, la résolution compte — un modèle qui obtient un fait juste et deux faux dans la même phrase ne devrait pas recevoir une note de passage.