Igor Mordatch
Was es bedeutet, ein Sprachmodell zu evaluieren, das durch seinen Text folgenreiche Handlungen ausführt — nicht nur Antworten produziert, sondern in Umgebungen operiert, die reagieren.
Mordatchs Forschungslinie — verkörpertes Reinforcement Learning, emergente Kommunikation in Multi-Agenten-Systemen, sprachkonditionierte Agenten — lag an der Schnittstelle zwischen LLMs und den Umgebungen, in denen sie potenziell handeln könnten. Während sich LLMs zu Agentensystemen entwickeln, die folgenreiche Handlungen ausführen (browsen, Code ausführen, mit APIs sprechen, Dokumente manipulieren), verändert sich die Evaluationsfrage: Gemessen werden sollte, was infolge der Handlungssequenz in der Welt geschah, jenseits der Oberflächenkorrektheit des erzeugten Textes. Seine frühere OpenAI-Arbeit zu emergenter Sprache in Multi-Agenten-Systemen und seine aktuelle DeepMind-Arbeit zu sprachkonditionierten Handlungspolicies liegen an der methodischen Grenze agententauglicher Evaluation. Für ai100 liegt der Agentenübergang am Horizont — wenn AI-Engines von der Beantwortung von Markenfragen dazu übergehen, Handlungen im Auftrag von Nutzern auszuführen, muss sich die Bewertungsmethodik entsprechend weiterentwickeln.