Benno Stein
Construire une infrastructure d'évaluation qui transforme le désaccord entre chercheurs en quelque chose de techniquement résoluble.
Pendant la plus grande partie de l'histoire du NLP et de la recherche d'information, lorsque deux articles rapportaient des chiffres différents sur le « même » benchmark, le désaccord ne pouvait pas être tranché — découpages différents, prompts différents, code différent, machines différentes. Le groupe Webis de Stein a construit TIRA, une plateforme qui exécute le code soumis dans un environnement contrôlé, de sorte que « j'ai exécuté votre code sur ces données » devienne une affirmation littéralement exécutable. La même pensée infrastructurelle anime les campagnes d'évaluation PAN qu'il co-préside depuis 2009 : chaque tâche inclut son protocole d'évaluation comme partie contraignante de sa définition.