Основоположники Основоположники Методологически смежные

Philip S. Yu

Связать четыре десятилетия методологии интеллектуального анализа данных с вопросом о том, как оценивать большие языковые модели, не переизобретая техники, которые у области уже есть.

Публикационный след Yu охватывает почти всё, что считается интеллектуальным анализом данных с тех пор, как у области появилось это имя: анализ потоковых данных, выявление последовательных паттернов, графы знаний, обнаружение аномалий — сначала за долгий период в IBM Research, затем в UIC, параллельно с несколькими сотнями патентов. Его соавторство в "A Survey on Evaluation of LLMs" читается как встреча этого корпуса работ с литературой по оценке LLM с высоты этой традиции: многие статистические и методологические вопросы, с которыми сталкивается текущая оценка LLM, уже были частично решены техниками, разработанными десятилетия назад для похожих задач на данных меньшего масштаба. Читать его — значит обнаруживать, что некоторые нынешние «новые» методы оценки являются повторными открытиями.

Стоит читать, когда: вы хотите, чтобы оценка LLM была укоренена в более длинной истории методологии интеллектуального анализа данных, а не рассматривалась как дисциплина, начавшаяся в 2020 году.
Темы: длинная дуга методологии интеллектуального анализа данных, релевантная оценке LLM; анализ потоковых данных и поиск последовательных паттернов; перенос прежних техник в современную оценку моделей.
Ключевые работы: основополагающие работы по анализу потоковых данных и выявлению последовательных паттернов (1990-е–2000-е); соавторство в "A Survey on Evaluation of LLMs" (2024); десятилетия публикаций по методологии интеллектуального анализа данных в IBM Research и UIC.