James Zou
À quoi ressemble l'évaluation lorsque l'IA évaluée doit franchir des seuils réglementaires avant son déploiement — et ce que l'évaluation générale des LLM devrait apprendre d'un domaine qui fait cela depuis des années.
Les recherches de Zou à Stanford ont suivi la liste croissante des dispositifs médicaux IA/ML approuvés par la FDA et la méthodologie d'évaluation que chacun devait satisfaire : non pas des scores de benchmark, mais des études prospectives de performance clinique avec des critères d'évaluation prédéfinis. Ses travaux incluent aussi des comparaisons systématiques entre LLM et cliniciens sur le question-réponse médical, ce qui donne au domaine un repère calibré pour comprendre ce que requiert réellement l'affirmation « ce LLM est médicalement fiable ». Pour ai100, l'IA biomédicale est l'exemple méthodologique — un domaine où la question d'évaluation ressemble structurellement à la nôtre (une recommandation à forts enjeux dans un contexte qui affecte des résultats réels), mais où les enjeux ont imposé une discipline méthodologique plus longue que celle que l'évaluation générale des LLM a encore développée.