Lange bevor mechanistische Interpretierbarkeit zu einem Mainstream-Teilfeld wurde, führte Belinkov Probing-Experimente an neuronalen Sprachmodellen durch — er trainierte kleine Klassifikatoren darauf vorherzusagen, ob die verborgenen Zustände des Modells Wortart, syntaktische Struktur, semantische Rolle oder faktisches Wissen kodieren. Die frühen Ergebnisse waren ernüchternd und stabilisierend: Modelle kodierten linguistische Struktur oft auf messbare Weise, doch die Codierung war verteilt und verschränkt in Mustern, die der Annahme widersprachen, eine einzelne Schicht oder Einheit „repräsentiere“ ein einzelnes Konzept. Diese Linie setzt sich in seiner heutigen LLM-Ära-Arbeit fort, in der die Frage lautet, ob dieselben Probing-Techniken auf tausendfach größere Modelle skalieren.

Lesenswert, wenn
man Behauptungen darüber, was ein Sprachmodell „weiß“, in etwas Messbarerem verankern will als seinem Ausgabeverhalten.
Themen
Probing-Klassifikatoren für linguistisches und faktisches Wissen in LMs; die Struktur verteilter interner Repräsentationen; die BlackboxNLP-Tradition.
Zentrale Arbeiten
grundlegende Probing-Experimente an neuronalen LMs (seit 2017); „Linguistic Knowledge and Transferability of Contextual Representations“ (2019, Mitautor); Mitgründung der BlackboxNLP-Workshopreihe.