Многоязычная оценка Методологи Напрямую в основе методологии ai100

Yulia Tsvetkov

Как предвзятость и вред выглядят в выводах языковых моделей на разных языках — особенно для языков и сообществ, которые стандартная оценка области исторически игнорировала.

Стандартный конвейер изучения предвзятости в языковых моделях по умолчанию был English-first: обучить на английском, оценить на английском, сделать выводы, а затем перенести их на другие языки как второстепенную задачу. Группа Tsvetkov в UW запускает обратный конвейер: начать с языков и сообществ, до которых англоцентричные методы не дотягиваются; спросить, какие категории предвзятости и вреда действительно проявляются в этих средах; и позволить многоязычным данным с самого начала формировать аналитические категории. Для ai100, который оценивает движки в пяти языковых регионах, это методологическое основание для того, чтобы рассматривать профиль предвзятости каждой локали как самостоятельный объект исследования.

Стоит читать, когда: вам нужно оценить предвзятость или вред модели в неанглийском контексте и нужна литература, где многоязычная этика является первичным предметом, а не расширением English-first подхода.
Темы: многоязычная оценка предвзятости и вреда; NLP для низкоресурсных языков; этика в NLP на пересечении с языковым разнообразием.
Ключевые работы: "Demystifying Prompts in Language Models via Perplexity Estimation" (2023, соавтор); длинный корпус работ по низкоресурсному и многоязычному NLP; публикации UW об оценке предвзятости в разных языках.