Gal arbeitete die Grundlagen bayesscher Unsicherheit in tiefen neuronalen Netzen aus, als diese Literatur noch klein war, und richtet dasselbe Instrument seit einigen Jahren auf LLMs. Sein 2024 in Nature erschienener Aufsatz zur Halluzinationserkennung über semantische Entropie macht die Linie konkret: Eine flüssige Antwort und eine wahre Antwort sind verschiedene Dinge, und die Lücke zwischen ihnen lässt sich von außen messen, statt das Modell um eine Selbstauskunft zu bitten. Die Methode benötigt weder gelabelte Ground Truth noch Zugriff auf Modellinterna; genau diese Art von Methode ist die einzige, die tatsächlich auf ein geschlossenes kommerzielles LLM anwendbar ist.

Lesenswert, wenn
man einen Output eines Sprachmodells nimmt und fragt: „Soll man dem trauen?“ — und eine Antwort will, die nicht davon abhängt, dass das Modell zustimmt.
Themen
semantische Unsicherheit in LLMs; Halluzinationserkennung ohne gelabelte Ground Truth; wie AI-Sicherheitsinstitute Unsicherheitsforschung in Aufsicht übersetzen.
Zentrale Arbeiten
„Dropout as a Bayesian approximation“ (2016); „Detecting hallucinations in LLMs using semantic entropy“ (Nature, 2024); laufende Arbeiten der Oxford OATML group.