Torsten Hoefler
Généraliser le raisonnement des modèles de langage au-delà des chaînes de raisonnement linéaires — vers des embranchements, du retour arrière et de la recombinaison d'étapes intermédiaires de raisonnement.
Le prompting par chaîne de raisonnement (2022) a montré qu'un modèle de langage produit de meilleures réponses lorsqu'il est autorisé à écrire son raisonnement intermédiaire à voix haute, et Tree-of-Thoughts (2023) a étendu cela à une recherche arborescente. Graph of Thoughts, que le groupe ETH de Hoefler a introduit en 2024, franchit l'étape suivante — laisser le modèle traiter le raisonnement comme un graphe orienté où des états intermédiaires peuvent être fusionnés, notés et explorés avec retour arrière. Le cadre arrive avec les instincts d'ingénierie système que l'on attend de quelqu'un dont l'autre métier consiste à architecturer l'apprentissage automatique sur un supercalculateur national : suivre le coût de calcul de chaque expansion de raisonnement, et pas seulement son gain de précision.