Emma Strubell
Si el coste computacional y energético de entrenar y servir modelos de lenguaje debe figurar en el titular de una evaluación, donde actualmente la exactitud aparece sola.
El paper de Strubell de 2019 "Energy and Policy Considerations for Deep Learning in NLP" puso números a algo que el campo venía ignorando en silencio: entrenar un solo gran modelo de lenguaje podía producir emisiones de CO2 comparables a las de varios coches a lo largo de su vida útil, y la brecha entre los informes de exactitud en papers de investigación y el coste de carbono de producirlos se ampliaba con cada nuevo estado del arte. El trabajo reformuló la eficiencia: dejó de ser una preocupación de ingeniería deseable pero secundaria y pasó a ser una dimensión de evaluación que debería aparecer junto a la exactitud en cada comparación de modelos. Para ai100, que evalúa modelos que varían en órdenes de magnitud en coste de inferencia, este es el respaldo metodológico para tratar «buena respuesta» y «buena respuesta a qué coste» como preguntas distintas.