Das Microsoft-Research-Paper „Sparks of Artificial General Intelligence“, das Horvitz 2023 mitverfasste, war die meistzitierte qualitative Evaluation von GPT-4 — mehr als hundert Seiten mit Beispielen, die zeigten, dass das Modell Dinge tat, die seine Vorgänger nicht konnten, gerahmt als vorläufige Evidenz für Fähigkeiten, die allgemeiner künstlicher Intelligenz nahekommen. Das Paper wurde sofort für sein fehlendes systematisches Protokoll kritisiert, doch die Kritik verfehlte weitgehend, was das Dokument einflussreich machte: Es gab der Branche ein Vokabular für das, was sie vor sich sah, bevor irgendjemand robuste Instrumente gebaut hatte, um es zu messen. Horvitz’ längere Karriere — probabilistische KI, medizinische Entscheidungsunterstützung, AAAI-Präsidentschaft, der Aufbau von Microsofts Responsible-AI-Infrastruktur — gibt ihm ein Gewicht, das dem beiläufigen Leser von „Sparks“ meist entgeht.

Lesenswert, wenn
man die Perspektive der industriellen Führungsebene darauf lesen will, wozu aktuelle LLMs fähig sind, auch wenn (gerade wenn) diese Perspektive in einer Weise methodisch informell ist, gegen die ai100s eigene Evaluation das Gegenmittel bildet.
Themen
qualitative Evaluation von LLM-Fähigkeiten (Sparks); probabilistische KI und entscheidungstheoretische Methoden; Responsible-AI-Infrastruktur innerhalb großer Modelllabore (Aether).
Zentrale Arbeiten
„Sparks of Artificial General Intelligence: Early experiments with GPT-4“ (2023, Seniorautor); jahrzehntelange Publikationen zu probabilistischer KI und medizinischer Entscheidungsunterstützung; Aether Working Group on responsible AI.