Shuming Shi
Wie „Halluzination“ bei Sprachmodellen aussieht, wenn man für die Auslieferung LLM-gestützter Produkte auf einer Oberfläche mit ungefähr einer Milliarde Nutzern verantwortlich ist.
Shi war Mitautor des 2023 erschienenen Halluzinationssurveys „Siren's Song in the AI Ocean“ mit Yue Zhang, kam aber von der Deployment-Seite an das Problem heran — aus dem NLP-Zentrum einer großen chinesischen Technologieplattform, deren Produkte ungefähr eine Milliarde Nutzer erreichen. Dieselbe Taxonomie der Halluzinationstypen (Faktentreue vs. Quellentreue, intrinsisch vs. extrinsisch) liest sich anders, wenn die Frage operativ gestellt wird: Welche Kategorien tauchen tatsächlich im Produktions-Traffic auf, welche lassen sich durch einen nachgelagerten Filter abfangen, und welche erfordern eine Änderung des zugrunde liegenden Trainingslaufs? Es lohnt sich, ihn neben der akademischen Seite desselben Surveys zu lesen, weil die Deployment-Perspektive Fehlermodi sichtbar macht, die reine benchmark-Arbeit übersieht.