Shuming Shi
Ce que signifie l'« hallucination » d'un modèle de langage lorsque l'on est responsable de déployer des produits propulsés par LLM sur une surface d'environ un milliard d'utilisateurs.
Shi a coécrit en 2023 la synthèse "Siren's Song" sur les hallucinations avec Yue Zhang, mais il a abordé le problème depuis le côté déploiement — le centre NLP d'une grande plateforme technologique chinoise dont les produits atteignent environ un milliard d'utilisateurs. La même taxonomie des types d'hallucination (factualité vs. fidélité (à la source), intrinsèque vs. extrinsèque) se lit différemment lorsque la question est opérationnelle : quelles catégories apparaissent vraiment dans le trafic de production, lesquelles peuvent être filtrées en aval, et lesquelles exigent de modifier la campagne d'entraînement sous-jacente. Il vaut la peine de le lire aux côtés du versant académique de la même synthèse, car la perspective du déploiement fait apparaître des modes d'échec que le travail de benchmark pur ne voit pas.