Michihiro Yasunaga
Si un modelo de lenguaje puede traducir correctamente una pregunta en lenguaje natural a una consulta estructurada precisa, y qué revela esa traducción sobre el razonamiento sobre conocimiento.
Spider, que Yasunaga coescribió como parte de una colaboración doctoral Yale-Stanford, ha sido el benchmark canónico de traducción text-to-SQL desde 2018: una tarea que parece engañosamente simple («convierte esta pregunta en una consulta SQL»), pero que en realidad exige al modelo vincular entidades de lenguaje natural con columnas de esquema, resolver agregaciones y estructurar joins correctamente. La razón por la que esto importa para evaluar los LLM como sistemas de razonamiento es que text-to-SQL tiene una verdad de referencia estricta: la consulta o bien se ejecuta y devuelve las filas correctas, o no. Su trabajo posterior en QA-GNN y razonamiento aumentado por grafos de conocimiento extiende la misma postura: razonamiento sobre conocimiento estructurado que produce respuestas verificables.