Emmanuel Candès
Cómo poner intervalos válidos de incertidumbre estadística alrededor de las predicciones de cualquier modelo —incluidos los modelos de lenguaje— sin asumir que se sabe qué tipo de distribución de errores esperar.
Candès es una de las figuras fundadoras de la predicción conformal, un marco estadístico que produce intervalos de predicción calibrados —cobertura garantizada del valor verdadero a un nivel de confianza especificado— sin hacer supuestos de distribución sobre el modelo subyacente. El marco precede en años a la era de los LLM y es esencialmente agnóstico al modelo, lo que significa que se transfiere a los modelos de lenguaje sin modificación: se puede envolver cualquier LLM en predicción conformal y obtener afirmaciones rigurosas sobre la fiabilidad de sus salidas. Para ai100, que informa puntuaciones comparativas entre motores, esta es la base estadística necesaria para adjuntar intervalos de confianza reales a esos números, en lugar de apoyarse en el hábito del campo de informar estimaciones puntuales como si fueran hechos.