Ari Holtzman
Wie Sprachmodelle tatsächlich Text aus ihren Wahrscheinlichkeitsverteilungen generieren — und was die Wahl des Sampling-Verfahrens mit Evaluationsergebnissen macht.
Das Paper von 2019 „The Curious Case of Neural Text Degeneration“, das Holtzman leitete, führte Nucleus Sampling (top-p) ein: Statt das nächste Token aus der vollständigen Verteilung oder aus den top-k-Tokens mit der höchsten Wahrscheinlichkeit zu ziehen, sampelt man aus der kleinsten Menge von Tokens, deren kumulative Wahrscheinlichkeit p überschreitet. Die Methode wurde zum Standard für nahezu jedes deployte LLM, einschließlich derjenigen, die ai100 derzeit evaluiert, weil sie flüssigere und weniger repetitive Texte erzeugte als die Alternativen. Die Implikation für Evaluation, die das Feld langsamer aufgenommen hat: Zwei Läufe desselben Modells mit unterschiedlichen Sampling-Einstellungen können spürbar verschiedene Scores erzeugen. Evaluationsergebnisse handeln also nicht nur vom Modell — sie hängen teilweise davon ab, welche Decoding-Konfiguration der Evaluator zufällig verwendet hat.