Основоположники Методологи Напрямую в основе методологии ai100

Roi Reichart

Что означает «домен» для языковой модели — когда её обучающее распределение перестаёт совпадать с контекстом применения — и как строго оценивать такое несовпадение.

Более длинная исследовательская линия Reichart — доменная адаптация в NLP: когда модель, обученная на новостных статьях, разворачивается на юридическом тексте, что именно ломается и как измерить поломку так, чтобы это не зависело от того, насколько сама модель интерпретируема. Как Co-Editor-in-Chief в Transactions of the Association for Computational Linguistics, он имеет институциональное влияние на то, что область принимает как строгую методологию оценки: TACL — одна из площадок, где статьи об оценке либо проходят рецензирование, либо нет, и стандарты там формируют планку для последующей работы. Для ai100, который аудитирует AI-движки на запросах, под которые эти движки могли не оптимизироваться, литература по доменной адаптации даёт ровно нужную методологическую опору.

Стоит читать, когда: вы хотите оценивать поведение языковой модели на входах, которые могут отличаться от её обучающего распределения, и нужна методология, серьёзно относящаяся к этому несовпадению.
Темы: методология доменной адаптации для языковых моделей; active learning при сдвиге распределения; редакционные стандарты TACL как площадки.
Ключевые работы: корпус работ по доменной адаптации в NLP (с 2010-х, Technion); долгосрочная роль Co-Editor-in-Chief в Transactions of the ACL; публикации по active learning в языковых задачах.