Christopher Potts

Potts nähert sich Sprachmodellen aus einem linguistischen und philosophischen Hintergrund, was ihm einen ungewöhnlichen Blick darauf gibt, welche Schlüsse aktuelle Bewertungsmethodik zulässt. Stanford Sentiment Treebank, das seine Gruppe vor mehr als einem Jahrzehnt mit aufgebaut hat, wird noch immer in nahezu jedem Paper zur Sentiment-Klassifikation zitiert — teils wegen des Datensatzes selbst, teils weil es kompositionale Struktur und nicht Wortpolarität zur Einheit der Evaluation machte. Seine neuere Arbeit an dynamischen adversarialen Benchmarks wie DynaSent argumentiert einen leiseren Punkt: Ein statischer Testsatz ist in dem Moment veraltet, in dem er erscheint, weil spätere Modelle auf seinem Echo im Korpus trainieren.

Lesenswert, wenn

man die Einschätzung eines Linguisten dazu will, was ein LLM-Benchmark-Ergebnis behaupten lässt — und was nicht.

Themen

Sentiment und Natural Language Inference als Testfälle für kompositionale Bedeutung; adversariale und dynamische Benchmark-Designs; die Linguistik hinter LLM-Evaluation.

Zentrale Arbeiten

Stanford Sentiment Treebank (2013, Mitautor); DynaSent dynamic benchmark (2021); laufende Arbeiten zu Tests kompositionaler Generalisierung für LLMs.