Torsten Hoefler
Обобщение рассуждений языковых моделей за пределы линейных цепочек рассуждений — к ветвлению, откату и рекомбинации промежуточных шагов рассуждения.
Prompting с цепочкой рассуждений (2022) показал, что языковая модель даёт лучшие ответы, когда ей позволяют записывать промежуточные рассуждения вслух, а Tree-of-Thoughts (2023) расширил это до ветвящегося поиска. Graph of Thoughts, представленный группой Hoefler в ETH в 2024 году, делает следующий шаг: позволяет модели трактовать рассуждение как направленный граф, где промежуточные состояния можно объединять, оценивать и отматывать назад. Фреймворк несёт в себе те инженерно-системные инстинкты, которых ждёшь от человека, чья другая рабочая роль — архитектура ML на национальном суперкомпьютере: он отслеживает вычислительную стоимость каждого расширения рассуждения, а не только прирост точности.