Marco Baroni
Déterminer si les modèles de langage neuronaux peuvent composer ce qu'ils ont appris en combinaisons nouvelles qu'ils n'ont jamais vues — ou s'ils ne font en réalité qu'une interpolation sophistiquée au sein de leur distribution d'entraînement.
Le groupe de Baroni a construit SCAN (2018) comme test contrôlé de généralisation compositionnelle : une petite langue synthétique dans laquelle le modèle doit combiner verbes et modificateurs selon des motifs absents de l'entraînement. Les modèles neuronaux séquence-à-séquence, pourtant alors l'architecture dominante, ont échoué de façon spectaculaire — généralisant une courte combinaison tenue à l'écart, mais échouant sur des combinaisons à peine plus longues. Le résultat s'est généralisé : des articles ultérieurs ont montré les mêmes échecs de généralisation compositionnelle dans les LLM modernes à grande échelle, ce qui signifie que la question posée par Baroni en 2018 n'a pas été résolue par le passage à l'échelle à lui seul.