Pang Wei Koh
Was passiert, wenn ein Sprachmodell auf Daten trifft, wie es sie im Training nicht gesehen hat — und wie man diese Lücke rigoros misst, statt sie erst nach dem Deployment zu bemerken.
WILDS, das Koh 2021 mitleitete, war die erste systematische Benchmark-Suite für Verteilungsverschiebungen im Machine Learning — geografische Verschiebung, zeitliche Verschiebung, demografische Verschiebung, also jene realweltlichen Unterschiede, die Modelle, die auf bequemen Datensätzen trainiert wurden, leise brechen lassen. Das Ergebnis, das die Arbeit organisierte, war ernüchternd: Modelle mit State-of-the-Art-Leistung auf Standard-Testsätzen verloren auf den WILDS-Verschiebungen regelmäßig die Hälfte ihrer Genauigkeit oder mehr, und keine einzelne Robustheitstechnik schloss die Lücke. Für ai100 ist das das strukturelle Problem hinter jedem Benchmark für AI-Engines — was wir auf unserem Query-Set messen, ist nicht das, worauf Endnutzer treffen, und die Lücke verdient dieselbe methodische Sorgfalt wie Genauigkeit selbst.