Danqi Chen

ALCE (2023, mit Chen als Seniorautorin) ist der benchmark, der die Frage auf den Tisch legte: Wenn ein LLM Text mit Zitaten erzeugt, stützen die zitierten Quellen die Behauptungen tatsächlich, an die sie angehängt sind, oder sind die Zitate dekorativ? Das Framework zerlegt Attribution in messbare Komponenten — citation precision (das Zitat stützt die Behauptung), citation recall (jede Behauptung, die zitiert werden sollte, ist es auch) und die Wechselwirkung zwischen beiden — und zeigt, dass aktuelle LLMs enorm darin variieren, was davon sie richtig machen. Für ai100, das auditiert, ob KI-Engines Marken mit angemessener Quellenstützung erwähnen, ist dies der nächstliegende methodische Vorläufer: Attribution als eigene Evaluationsachse neben roher Antwortgenauigkeit.

Lesenswert, wenn

man evaluieren will, ob die Zitate eines Modells tatsächlich die Arbeit leisten, die sie zu leisten scheinen, oder nur stilistische Marker sind, die an plausibel klingende Antworten angehängt werden.

Themen

automatische Evaluation des Zitierverhaltens von LLMs (ALCE); Attributionspräzision und -recall als getrennte Metriken; die Lücke zwischen Zitaten als Dekoration und Zitaten als Evidenz.

Zentrale Arbeiten

ALCE: Enabling Large Language Models to Generate Text with Citations (2023, Seniorautorin); Dense Passage Retrieval (2020, Mitautorin mit Yih); Princeton-NLP-Veröffentlichungen zu retrieval-augmentierten LMs.