Minlie Huang
Savoir si les catégories de « préjudiciable » utilisées pour évaluer la sûreté des modèles de langage se transfèrent des contextes occidentaux aux contextes de déploiement en langue chinoise, où le cadre réglementaire et les catégories culturelles sont différents.
La plupart des évaluations publiques de la sûreté des LLM utilisent des schémas de catégories développés par des laboratoires occidentaux — biais, toxicité, discours de haine, résistance aux jailbreaks, le tout évalué sur des jeux de données anglophones et selon des attentes réglementaires américaines ou européennes. Le groupe CoAI de Huang à Tsinghua, avec le cadre plus récent AISafetyLab, met en place un parallèle explicite pour les LLM en langue chinoise : ce qui compte comme sortie « préjudiciable » ou « biaisée » a une structure différente lorsque l'environnement réglementaire diffère, que les tabous culturels diffèrent, et que la surface du modèle déployé atteint des utilisateurs aux attentes différentes. Pour ai100, qui évalue des moteurs servant cinq régions linguistiques, ce type d'évaluation de la sûreté sensible au contexte local est la seule version honnête — prétendre qu'une seule taxonomie de sûreté convient aux cinq contextes locaux serait sa propre forme de biais.