David Jurgens
Si los modelos de lenguaje que manejan bien las preguntas factuales también pueden manejar el tipo de conocimiento social que determina lo que los humanos realmente quieren decir cuando dicen cosas.
El artículo de 2023 "Do LLMs Understand Social Knowledge?", con Jurgens como coautor sénior, sometió a LLM modernos a una batería de pruebas construidas a partir de investigación sociolingüística: implicatura, actos de habla indirectos, marcadores convencionalizados de cortesía, las inferencias sociales que un oyente humano competente hace sin pensarlo. Los resultados fueron lo bastante mixtos como para importar: LLM que puntuaban alto en benchmarks de QA factual cometían errores sistemáticos en inferencias sociales que cualquier humano razonablemente socializado acierta, especialmente cuando el contexto social no era estadounidense ni mayoritario. Para ai100, esto conecta con una pregunta que tenemos que pensar: cuando un motor recomienda una marca en lugar de otra, qué señal social está leyendo el motor en la consulta, y si un humano que leyera la misma consulta interpretaría esa señal del mismo modo.