Jimmy Xiangji Huang
Wie Information Retrieval über die unordentlichen Betriebsdaten skaliert, die reale Organisationen besitzen — im Gegensatz zu den sauberen Benchmark-Korpora, auf denen das Feld tatsächlich publiziert.
Die meiste akademische IR-Forschung läuft auf Sammlungen im Web- oder Nachrichtenmaßstab — Korpora, in denen das Retrieval-Problem klar definiert ist und die Dokumente vergleichsweise sauber sind. Huangs IR&KM Lab bei York arbeitet seit zwei Jahrzehnten an einem repräsentativeren Fall: Retrieval über jene gemischten, heterogenen, manchmal strukturierten Daten, die reale Unternehmen besitzen und deren Fehlermodi anders aussehen als alles, was ein Benchmark erfasst. Seine neuere Arbeit zur LLM-Evaluation erweitert dieselbe Perspektive: Wie verhalten sich retrieval-augmentierte Sprachmodelle, wenn das Korpus, aus dem sie abrufen, die Art Repository ist, die eine tatsächliche Organisation betreibt — und keine kuratierte Forschungssammlung?