James Zou
Qué aspecto tiene la evaluación cuando la IA evaluada tiene que superar barreras regulatorias antes del despliegue, y qué debería aprender la evaluación general de LLM de un campo que lleva años haciendo esto.
La investigación de Zou en Stanford ha seguido el creciente repertorio de dispositivos médicos de IA/ML aprobados por la FDA y la metodología de evaluación que cada uno tuvo que satisfacer: no puntuaciones de benchmark, sino estudios prospectivos de rendimiento clínico con criterios de valoración predefinidos. Su trabajo también incluye comparaciones sistemáticas entre LLM y clínicos en respuesta a preguntas médicas, lo que da al campo una referencia calibrada de lo que realmente exige afirmar «este LLM es médicamente fiable». Para ai100, la IA biomédica es el ejemplo metodológico: un dominio donde la pregunta de evaluación es estructuralmente similar a la nuestra (una recomendación de alto impacto en un contexto que afecta resultados reales), pero donde lo que está en juego ha impuesto una disciplina metodológica más larga que la evaluación general de LLM aún no ha desarrollado.