Gal a posé les fondations de l'incertitude bayésienne dans les réseaux neuronaux profonds alors que cette littérature était encore limitée, et il a passé les dernières années à orienter le même instrument vers les LLM. Son article de 2024 dans Nature sur la détection des hallucinations par entropie sémantique rend le fil conducteur concret : une réponse fluide et une réponse vraie sont deux choses différentes, et l'écart peut se mesurer de l'extérieur plutôt qu'en demandant au modèle de s'auto-déclarer fiable. La méthode n'exige ni vérité terrain annotée ni accès aux entrailles du modèle, ce qui en fait le seul type de méthode réellement applicable à un LLM commercial fermé.

À lire lorsque
vous devez prendre la sortie d'un modèle de langage et demander « faut-il lui faire confiance ? » — et vous voulez une réponse qui ne dépende pas de l'accord du modèle.
Thèmes
incertitude sémantique dans les LLM; détection des hallucinations sans vérité terrain annotée; manière dont les instituts de sûreté de l'IA traduisent la recherche sur l'incertitude en supervision.
Travaux clés
"Dropout as a Bayesian approximation" (2016); "Detecting hallucinations in LLMs using semantic entropy" (Nature, 2024); production scientifique en cours du groupe Oxford OATML.