Philip S. Yu
Vier Jahrzehnte Data-Mining-Methodik mit der Frage zu verbinden, wie große Sprachmodelle evaluiert werden können, ohne Techniken neu zu erfinden, die das Feld bereits besitzt.
Yus Publikationsverzeichnis deckt den größten Teil dessen ab, was als Data Mining gilt, seit das Feld diesen Namen trägt — Stream Mining, Sequential Pattern Discovery, Knowledge Graphs, Anomaly Detection —, entstanden während seiner langen Zeit bei IBM Research und dann bei UIC fortgeführt, mit mehreren Hundert Patenten dazu. Seine Mitautorenschaft an „A Survey on Evaluation of LLMs“ liest sich wie der Punkt, an dem dieser Werkkomplex von oben auf die LLM-Evaluationsliteratur trifft: Viele der statistischen und methodischen Fragen, vor denen aktuelle LLM-Evaluation steht, wurden teilweise bereits durch Techniken beantwortet, die vor Jahrzehnten für ähnliche Probleme auf kleineren Datenmaßstäben entwickelt wurden. Wer ihn liest, entdeckt, dass manche aktuellen „neuen“ Evaluationsmethoden Wiederentdeckungen sind.