Noah A. Smith
Si un modelo de lenguaje puede producir sus propios datos de entrenamiento, y cuáles son las consecuencias metodológicas cuando eso se convierte en la práctica estándar.
Self-Instruct (2022, autor sénior) mostró que un LLM puede generar los datos de ajuste por instrucciones necesarios para mejorarse a sí mismo: se le da al modelo un prompt con unos pocos ejemplos semilla de tuplas (instrucción, entrada, salida), se le pide que genere más siguiendo el mismo patrón, se filtra por calidad y se usa el resultado como datos de entrenamiento. La técnica fue adoptada de inmediato en toda la industria: la mayoría de los LLM ajustados por instrucciones actuales se entrenaron con datos de este tipo, muchos de ellos generados por GPT-3 o GPT-4. La consecuencia metodológica para la evaluación es incómoda: cuando modelos entrenados con datos sintéticos de modelos anteriores se evalúan mediante jueces que también son modelos de lenguaje, todo el bucle de evaluación se vuelve cada vez más endógeno a la misma familia de sistemas que se está midiendo.