Ee-Peng Lim
Ob ein Sprachmodell, das gebeten wird, vor dem Lösen eines Problems einen Plan zu erstellen, besseres logisches Schließen (Reasoning) erzeugt, als ihm zu sagen, Schritt für Schritt zu denken.
Der dominante zero-shot-Prompting-Trick für logisches Schließen (Reasoning) war „Let's think step by step“ — offen, ohne erzwungene Struktur, in der Hoffnung, dass das Modell seinen eigenen Weg findet. Plan-and-Solve Prompting (2023, mit Lim als Seniorautor) fügte eine kleine, aber folgenreiche strukturelle Änderung hinzu: Das Modell soll zuerst einen Plan zur Lösung des Problems formulieren und diesen Plan dann Schritt für Schritt ausführen. Das empirische Ergebnis war eine moderate, aber konsistente Verbesserung auf Mathematik- und Reasoning-Benchmarks — und eine methodische: Explizite Planung hinterlässt ein Artefakt in der Spur, sodass man untersuchen kann, was das Modell vorhatte und wo es davon abwich.