La mayoría de la evaluación pública de LLM mide lo que un modelo puede hacer. El Foundation Model Transparency Index de Bommasani, dirigido desde Stanford CRFM, avanza por un eje perpendicular: cuánto sabemos sobre el propio modelo: qué había en sus datos de entrenamiento, qué evaluaciones internas se realizaron, qué impactos aguas abajo se han documentado, qué se ha divulgado públicamente frente a qué se ha mantenido en privado. El argumento de fondo es directo: los benchmarks de capacidad significan poco cuando las condiciones que produjeron esas capacidades no constan en el registro, y tratar la transparencia como una disciplina de investigación separada (no como una preocupación de relaciones públicas) es la única forma de hacer honesta la comparación.

Vale la pena seguirlo cuando
se necesita explicar a un inversor o socio por qué «este modelo tiene buenas puntuaciones de benchmark» y «este modelo es transparente» no son la misma respuesta.
Temas
metodología de Foundation Model Transparency Index; qué debe contener la documentación de modelos; brecha entre lo que dicen los laboratorios de modelos y lo que hacen verificable.
Obras clave
Foundation Model Transparency Index (2023, en curso, líder); informe "On the Opportunities and Risks of Foundation Models" (2021, coautor); publicaciones de política de Stanford CRFM.