Omer Levy
Si un modèle de langage peut inférer la tâche à partir d'exemples seuls — sans qu'on lui dise quoi faire — et ce que cette capacité révèle de sa manière de représenter les instructions.
L'article "Instruction Induction" de Levy (2022, auteur senior) a inversé l'expérience standard de suivi d'instructions : au lieu de donner au modèle une instruction et d'observer s'il s'y conforme, lui donner quelques exemples entrée-sortie et lui demander d'articuler l'instruction que ces exemples impliquent. Les résultats étaient à la fois encourageants et déstabilisants — les LLM modernes peuvent induire des instructions raisonnables à partir d'une poignée d'exemples sur de nombreuses tâches, ce qui suggère que leur représentation interne de la « tâche » est réellement abstraite, mais ils induisent parfois des instructions qui diffèrent subtilement de celle que l'humain visait, avec des effets sur le comportement en aval. Pour ai100, cela compte parce que la plupart des requêtes adressées aux moteurs ne contiennent pas d'instruction explicite — le moteur infère implicitement la tâche à partir du contexte, et cette inférence peut diverger de ce que l'on attendait.