Jesse Dodge
Ce qu'un article sur un modèle de langage doit contenir pour qu'un autre laboratoire puisse vérifier le résultat.
Avant les travaux de Dodge, la plupart des publications sur l'efficacité des LLM comparaient des résultats obtenus dans des conditions incompatibles — budgets de recherche d'hyperparamètres différents, variantes de jeux de données différentes, étapes de normalisation non documentées qui rendaient trompeuses les comparaisons directes. La norme de présentation des résultats "Show Your Work" qu'il a formulée et défendue à NeurIPS et ACL comme exigence de relecture a transformé la reproductibilité : d'une convention, elle est devenue une exigence opposable. Le même instinct anime ses travaux sur Green AI — rendre compte non seulement de l'exactitude mais aussi du coût de calcul, parce que le « pourcentage de réponses correctes » n'est pas un nombre comparable entre laboratoires sans cela.