David Jurgens
Si les modèles de langage qui traitent proprement les questions factuelles peuvent aussi traiter le type de savoir social qui détermine ce que les humains veulent réellement dire lorsqu'ils parlent.
L'article de 2023 "Do LLMs Understand Social Knowledge?", avec Jurgens comme co-auteur senior, a soumis des LLM modernes à une batterie de tests construite à partir de la recherche sociolinguistique — implicature, actes de langage indirects, marqueurs conventionnalisés de politesse, inférences sociales qu'un auditeur humain compétent fait sans y penser. Les résultats étaient assez mitigés pour compter : des LLM très performants sur des benchmarks factuels de réponse aux questions commettaient des erreurs systématiques sur des inférences sociales que tout humain raisonnablement socialisé réussit, en particulier lorsque le contexte social était non américain ou non dominant. Pour ai100, cela se relie à une question que nous devons considérer — lorsqu'un moteur recommande une marque plutôt qu'une autre, quel signal social lit-il dans la requête, et un humain lisant la même requête interpréterait-il ce signal de la même manière ?