Emma Strubell
Ob die Rechen- und Energiekosten des Trainings und Servings von Sprachmodellen in die Überschrift einer Evaluation gehören, wo derzeit die Genauigkeit allein steht.
Strubells Paper von 2019 „Energy and Policy Considerations for Deep Learning in NLP“ bezifferte etwas, das das Feld stillschweigend ignoriert hatte: Das Training eines einzelnen großen Sprachmodells konnte CO₂-Emissionen verursachen, die mit mehreren Autos über deren gesamte Lebensdauer vergleichbar waren, und die Lücke zwischen Genauigkeitsberichten in Forschungspapieren und den CO₂-Kosten ihrer Erzeugung wurde mit jedem neuen State-of-the-Art-Ergebnis größer. Die Arbeit rahmte Effizienz von einem netten Engineering-Anliegen in eine Evaluationsdimension um, die in jedem Modellvergleich neben der Genauigkeit stehen sollte. Für ai100, das Modelle evaluiert, deren Inferenzkosten sich um Größenordnungen unterscheiden, ist dies die methodische Grundlage dafür, „gute Antwort“ und „gute Antwort zu welchen Kosten“ als verschiedene Fragen zu behandeln.