David Jurgens

Das Paper „Do LLMs Understand Social Knowledge?“ von 2023, mit Jurgens als Senior-Mitautor, ließ moderne LLMs eine Testbatterie durchlaufen, die aus soziolinguistischer Forschung gebaut war — Implikaturen, indirekte Sprechakte, konventionalisierte Höflichkeitsmarker, die sozialen Inferenzen, die ein kompetenter menschlicher Zuhörer ohne Nachdenken zieht. Die Ergebnisse waren gemischt genug, um wichtig zu sein: LLMs, die auf faktischen QA-benchmarks hohe Werte erzielten, machten systematische Fehler bei sozialen Inferenzen, die jeder hinreichend sozialisierte Mensch richtig versteht, besonders wenn der soziale Kontext nicht amerikanisch war oder nicht dem Mainstream entsprach. Für ai100 verbindet sich das mit einer Frage, über die wir nachdenken müssen — wenn eine Engine eine Marke statt einer anderen empfiehlt, welches soziale Signal liest die Engine aus der Anfrage, und würde ein Mensch, der dieselbe Anfrage liest, dieses Signal genauso interpretieren?

Lesenswert, wenn

man LLM-Evaluation in Soziolinguistik verankern will — also testen will, ob das Modell versteht, was Menschen meinen, nicht nur, was sie wörtlich sagen.

Themen

soziolinguistische Evaluation von LLMs; Computational Social Science mit Sprachmodellen; die Lücke zwischen faktischer Kompetenz und sozialer Kompetenz in KI-Systemen.

Zentrale Arbeiten

„Do LLMs Understand Social Knowledge?“ (2023, Senior-Mitautor); Werkkomplex zu Soziolinguistik und Computational Social Science; Publikationen der U Michigan, die NLP und sozialwissenschaftliche Forschung verbinden.