Die Standardpipeline zur Untersuchung von Bias in Sprachmodellen war standardmäßig englisch zuerst: auf Englisch trainieren, auf Englisch evaluieren, Schlussfolgerungen ziehen und dann andere Sprachen als Nachtrag portieren. Tsvetkovs Gruppe an der UW betreibt die Gegenpipeline — sie beginnt mit den Sprachen und Communities, die englischzentrierte Methoden nicht erreichen, fragt, welche Bias- und Schadenskategorien in diesen Kontexten tatsächlich sichtbar werden, und lässt die mehrsprachigen Daten die analytischen Kategorien von Anfang an prägen. Für ai100, das Engines in fünf Sprachregionen evaluiert, ist das die methodische Grundlage dafür, das Bias-Profil jeder Sprachregion als eigenen Untersuchungsgegenstand zu behandeln.

Lesenswert, wenn
man Modell-Bias oder Schaden in einem nicht-englischen Kontext evaluieren muss und die Literatur will, die mehrsprachige Ethik als Primäranliegen behandelt.
Themen
mehrsprachige Bias- und Schadensevaluation; NLP für Low-Resource-Sprachen; Ethik in der NLP-Forschung an der Schnittstelle zu sprachlicher Vielfalt.
Zentrale Arbeiten
„Demystifying Prompts in Language Models via Perplexity Estimation“ (2023, Mitautorin); langjähriger Werkkomplex zu Low-Resource- und mehrsprachigem NLP; UW-Publikationen zur Bias-Evaluation über Sprachen hinweg.