Jesse Dodge
Что должно быть в статье о языковой модели, чтобы другая лаборатория могла проверить результат.
До работ Dodge большинство публикаций об эффективности LLM сравнивали результаты, полученные в несовместимых условиях: разные бюджеты поиска гиперпараметров, разные варианты датасетов, недокументированные шаги нормализации, из-за которых числа в прямом сравнении вводили в заблуждение. Стандарт отчётности "Show Your Work", который он сформулировал и продвигал в NeurIPS и ACL как требование рецензирования, превратил воспроизводимость из конвенции в проверяемую и обязательную норму. Тот же инстинкт ведёт его работу Green AI: сообщать не только точность, но и вычислительную стоимость, потому что «процент правильных ответов» не является сопоставимым числом между лабораториями без этой информации.