Yann LeCun
Какими должны быть системы машинного обучения — в противовес тому, чем они являются сейчас.
LeCun разделил Turing Award 2018 года за работы, сделавшие глубокое обучение работоспособным в масштабе. Позиция, которую он публично удерживает последние несколько лет, — что авторегрессионное предсказание следующего токена является тупиком как путь к чему-либо похожему на общее рассуждение, — одна из немногих авторитетных позиций, расходящихся с текущим LLM-консенсусом, аргументированная в технических архитектурных деталях. Читать его полезно даже тогда, когда вы подозреваете, что он неправ, потому что несогласие конкретно: модели мира, joint-embedding predictive architectures, energy-based learning — всё это поставлено против того, почему он считает, что нынешнее поколение LLM не может дойти туда отсюда.