Christof Monz
Jahr für Jahr systematische Evaluation maschineller Übersetzung über Dutzende von Sprachpaaren hinweg — und was diese Nachverfolgung darüber zeigt, welche Übersetzungsprobleme gelöst werden und welche nicht.
Die meiste NLP-Evaluation ist einmalig: Ein Benchmark erscheint, wird gesättigt, wird ersetzt. Monz organisiert seit über einem Jahrzehnt die Findings of the WMT-Kampagnen mit und erzeugt damit einen der wenigen Datensätze im Feld mit longitudinaler Struktur — dieselbe Übersetzungsaufgabe, bewertet nach demselben Protokoll, über dieselben Sprachpaare hinweg, Jahr für Jahr. Die akkumulierte Aufzeichnung zeigt, was tatsächlich aus der alten statistischen MT-Ära in die neuronale Ära und weiter in die LLM-Ära übertragen wurde, und wo MT-Fortschritt trotz des Eindrucks universeller Verbesserung stagniert.