Torsten Hoefler
Logisches Schließen (Reasoning) von Sprachmodellen über lineare Gedankenketten (Chain-of-Thought) hinaus zu verallgemeinern — hin zu Verzweigung, Backtracking und Rekombination von Zwischenschritten des logischen Schließens.
Prompting mit Gedankenkette (Chain-of-Thought) (2022) zeigte, dass ein Sprachmodell bessere Antworten erzeugt, wenn es seine Zwischenschritte des logischen Schließens (Reasoning) laut ausschreiben darf, und Tree-of-Thoughts (2023) erweiterte das zu einer verzweigenden Suche. Graph of Thoughts, das Hoeflers ETH-Gruppe 2024 vorstellte, geht den nächsten Schritt — es lässt das Modell logisches Schließen (Reasoning) als gerichteten Graphen behandeln, in dem Zwischenzustände zusammengeführt, bewertet und für Backtracking wieder aufgegriffen werden können. Das Framework kommt mit genau jenem Systemtechnik-Instinkt, den man von jemandem erwartet, dessen anderer Hauptberuf darin besteht, ML auf einem nationalen Supercomputer zu architektieren: die Rechenkosten jeder Erweiterung des logischen Schließens zu verfolgen, nicht nur ihren Genauigkeitsgewinn.