Schuller organise depuis plus d'une décennie l'INTERSPEECH Computational Paralinguistics Challenge — des benchmarks annuels sur l'émotion, la sincérité, la langue maternelle, la dépression et d'autres catégories paralinguistiques que les systèmes fondés sur la voix captent ou manquent. Son extracteur de caractéristiques openSMILE est la boîte à outils sur laquelle fonctionne encore une grande partie de la recherche académique en parole affective, et sa production publiée couvre le versant méthodologie d'évaluation de ce sous-domaine depuis ses débuts modernes. Pour ai100, à mesure que les moteurs IA passent des interfaces purement textuelles à des produits en mode vocal, c'est la littérature qui a déjà établi quels signaux paralinguistiques comptent, lesquels peuvent être mesurés de manière fiable, et lesquels résistent encore à l'évaluation automatisée.

À lire lorsque
vous devez évaluer le comportement des modèles de langage en mode vocal et voulez une méthodologie pour mesurer ce que le canal de parole transporte au-delà des mots littéraux.
Thèmes
évaluation en paralinguistique computationnelle (émotion, affect, caractéristiques individuelles du locuteur); corpus des challenges INTERSPEECH; extraction de caractéristiques de parole affective (openSMILE).
Travaux clés
organisation de l'INTERSPEECH Computational Paralinguistics Challenge (annuel, 2009 et après); extracteur de caractéristiques open-source openSMILE (en cours); publications sur le traitement de la parole affective depuis Imperial et TU Munich.