Luke Zettlemoyer
Можно ли строить языковые модели с открытыми весами на фронтирном масштабе и можно ли измерять их фактологичность с тонким разрешением.
Имя Zettlemoyer стоит в ряду работ, который больше похож на исследовательскую программу, чем на список статей: открытые большие языковые модели, которые любой может изучить (OPT в 2022 году и последовавшая линия открытых моделей), и инфраструктура оценки, позволяющая сказать, держат ли эти модели свои фактологические утверждения в порядке. FActScore (2023, ведущий автор Sewon Min) — методологически аккуратная версия этого подхода: разбить длинный сгенерированный абзац на атомарные фактологические утверждения и оценить каждое по источнику знаний, а не оценивать «весь абзац» одним суждением. Для ai100 это разрешение важно: модель, которая в одном предложении правильно даёт один факт и ошибается в двух, не должна получать проходной балл.