Marco Baroni
Могут ли нейронные языковые модели компоновать выученное в новые комбинации, которых они никогда не видели, — или на самом деле они лишь выполняют сложную интерполяцию внутри обучающего распределения.
Группа Baroni построила SCAN (2018) как контролируемый тест композиционного обобщения: маленький синтетический язык, где модель должна комбинировать глаголы и модификаторы в паттернах, отсутствующих в обучении. Нейронные sequence-to-sequence модели, даже будучи тогда доминирующей архитектурой, провалились эффектно: они обобщали на одну короткую отложенную комбинацию, но ломались на чуть более длинных. Результат оказался более общим: последующие статьи показали те же провалы композиционного обобщения у современных LLM в масштабе. Это значит, что вопрос, который Baroni поставил на стол в 2018 году, одним только масштабом не снят.