Michihiro Yasunaga
Ob ein Sprachmodell eine natürlichsprachliche Frage korrekt in eine präzise strukturierte Abfrage übersetzen kann — und was diese Übersetzung über logisches Schließen (Reasoning) über Wissen verrät.
Spider, das Yasunaga im Rahmen einer Yale-Stanford-Promotionskollaboration mitverfasste, ist seit 2018 der kanonische Benchmark für Text-to-SQL-Übersetzung — eine Aufgabe, die täuschend einfach aussieht („verwandle diese Frage in eine SQL-Abfrage“), aber tatsächlich verlangt, dass das Modell natürlichsprachliche Entitäten an Schemaspalten bindet, Aggregationen auflöst und Joins korrekt strukturiert. Der Grund, warum das für die Evaluation von LLMs als Reasoning-Systeme wichtig ist, liegt darin, dass Text-to-SQL eine harte Ground Truth hat: Die Abfrage läuft und liefert die richtigen Zeilen, oder sie tut es nicht. Seine spätere Arbeit an QA-GNN und Wissensgraph-gestütztem logischem Schließen (Reasoning) erweitert dieselbe Haltung — logisches Schließen (Reasoning) über strukturiertes Wissen, das überprüfbare Antworten ergibt.