Корпус работ Manning — GloVe, фундаментальная Stanford-программа по NLP, поколение его PhD-студентов, разошедшихся по индустриальным лабораториям, — даёт ему точку обзора, с которой большая часть нынешнего разговора о LLM выглядит как категориальная ошибка. Его самые резкие недавние тексты утверждают: когда модель вроде бы «понимает» что-то, мы наблюдаем, как статистическая регулярность человеческого языка принимается за концептуальную структуру, на которой эти паттерны держатся. Такая позиция редка для человека с его статусом и институциональными стимулами, и именно поэтому к ней стоит относиться всерьёз.

Стоит читать, когда
вы хотите прочитать о разрыве между «модель выдала правильные слова» и «модель знала, что эти слова значат» — от человека, достаточно давно находящегося в области, чтобы помнить, что было потеряно при ребрендинге NLP в AI.
Темы
что дистрибутивная семантика может и не может утверждать о смысле; структурная критика текущей практики оценки LLM; длинная дуга языковых технологий до LLM.
Ключевые работы
векторные представления слов GloVe (2014, соведущий автор с Pennington и Socher); "Foundations of Statistical Natural Language Processing" (1999, с Schütze); большой корпус публичной критики текущей практики оценки LLM.