Jindong Wang

Die Literatur zur LLM-Evaluation wuchs schneller als die Methodik, die diese Paper vergleichbar machen würde — unterschiedliche prompts, unterschiedliches Scoring, unterschiedliche Definitionen von „Erfolg“ erzeugten widersprüchliche Behauptungen über dieselben Modelle. Wang leitete die meistzitierte Synthese dieser Landschaft („Survey on Evaluation of LLMs“ von 2023, mit Koautoren) und baute PromptBench, ein offenes Framework für Stresstests der Modellrobustheit über prompt-Variationen hinweg — genau den Teil des Feldes, in dem die Lücke zwischen „das Modell funktioniert“ und „das Modell funktioniert mit exakt den Wörtern, die wir getestet haben“ liegt.

Lesenswert, wenn

man eine LLM-Evaluation von Grund auf entwerfen will und wissen möchte, welche Konventionen bereits existieren, bevor man sie neu erfindet.

Themen

systematische Synthese der LLM-Evaluationsforschung; prompt-Robustheit und adversariale prompts; die Lücke zwischen Benchmark-Scores und Verhalten im Deployment.

Zentrale Arbeiten

„A Survey on Evaluation of LLMs“ (2023, Hauptautor); PromptBench-Framework (2023).