Emma Strubell
Должны ли вычислительные и энергетические затраты на обучение и обслуживание языковых моделей попадать в заголовок оценки — туда, где сейчас в одиночку стоит точность.
Статья Strubell 2019 года "Energy and Policy Considerations for Deep Learning in NLP" численно описала то, что область до этого молча игнорировала: обучение одной большой языковой модели могло давать выбросы CO2, сопоставимые с несколькими автомобилями за весь срок их службы, а разрыв между отчётами о точности в исследовательских статьях и углеродной ценой их получения расширялся с каждым новым state-of-the-art. Эта работа переосмыслила эффективность: из желательной, но необязательной инженерной заботы она превратилась в измерение оценки, которое должно стоять рядом с точностью в каждом сравнении моделей. Для ai100, который оценивает модели, различающиеся на порядки по стоимости инференса, это методологическое основание для того, чтобы считать «хороший ответ» и «хороший ответ какой ценой» разными вопросами.