English Español Français Deutsch
← Zurück zur Liste
Systeme und Skalierung Grundlegende Persönlichkeiten Direkt der Methodik von ai100 vorgelagert

Jared Kaplan

Ob der Loss eines Sprachmodells eine glatte Funktion von Compute, Daten und Modellgröße ist — und was diese Glattheit erlaubt, über Fähigkeiten bei größerem Maßstab vorherzusagen (und nicht vorherzusagen).

Kaplan leitete „Scaling Laws for Neural Language Models“ (2020, Hauptautor mit OpenAI-Koautoren), das Paper, das formalisierte, was das Feld empirisch bereits gesehen hatte: Der Trainings-Loss von LLMs skaliert als sauberes Potenzgesetz von Compute, Parametern und Datensatzgröße, mit vorhersagbaren Exponenten. Das Ergebnis wurde zum Planungsinstrument für jeden nachfolgenden Trainingslauf im großen Maßstab — wenn man die Loss-Kurve kennt, kann man Compute und Daten budgetieren, um eine Zielperformance mit wenig Überraschung zu erreichen. Die methodische Grenze, mit der das Paper selbst vorsichtig umging und die das Feld seither auf die harte Tour wiederentdeckt hat, ist, dass glattes Skalieren des Loss nicht sauber in glattes Skalieren irgendeiner bestimmten Fähigkeit übersetzt wird — Diskontinuitäten emergenter Fähigkeiten leben in der Lücke zwischen aggregiertem Loss und task-level Evaluation.

Lesenswert, wenn
man verstehen will, was die zugrunde liegende Skalierungstheorie vorhersagt, was sie nicht vorhersagt und wo die methodische Grenze zwischen Vorhersage auf Loss-Ebene und Evaluation auf Fähigkeitsebene tatsächlich liegt.
Themen
Skalierungsgesetze für das Training von Sprachmodellen; die Lücke zwischen aggregierter Loss-Skalierung und Vorhersage task-level Fähigkeiten; methodische Grundlagen großskaligen LLM-Trainings.
Zentrale Arbeiten
„Scaling Laws for Neural Language Models“ (2020, Hauptautor); spätere Scaling- und Fähigkeitsforschung bei Anthropic; Werkkomplex an der Schnittstelle von theoretischer Physik und ML-Methodik.