Marco Baroni
Ob neuronale Sprachmodelle Gelerntes zu neuen Kombinationen zusammensetzen können, die sie nie gesehen haben — oder ob sie in Wahrheit nur ausgefeilt innerhalb ihrer Trainingsverteilung interpolieren.
Baronis Gruppe baute SCAN (2018) als kontrollierten Test kompositioneller Generalisierung: eine kleine synthetische Sprache, in der das Modell Verben und Modifikatoren in Mustern kombinieren muss, die im Training fehlen. Neuronale Sequence-to-Sequence-Modelle, damals selbst die dominierende Architektur, scheiterten spektakulär — sie generalisierten eine kurze zurückgehaltene Kombination, brachen aber bei geringfügig längeren Kombinationen zusammen. Das Ergebnis generalisierte: Nachfolgende Arbeiten haben dieselben Defizite kompositioneller Generalisierung bei modernen LLMs im großen Maßstab gezeigt, was bedeutet, dass die Frage, die Baroni 2018 auf den Tisch legte, durch Skalierung allein nicht beantwortet wurde.