Quoc V. Le

Имя Le появляется в роли старшего автора или соавтора в удивительном количестве работ, которые позже оказались точками перегиба: Sequence-to-Sequence Learning with Neural Networks (2014), Doc2Vec, основополагающие работы по AutoML и neural architecture search и — напрямую релевантно текущей оценке LLM — Chain-of-Thought Prompting (2022, с Jason Wei и другими). Сквозная линия здесь не в единой исследовательской программе, а в привычке приходить к следующей архитектурной идее рано, часто на год или больше раньше остальных. Для ai100 практический вывод в том, что почти каждая оценка, которую мы запускаем, наследует одной из его статей: Seq2Seq — для архитектуры, CoT — для стиля prompting, которого теперь требуют большинство оценок, учитывающих рассуждение.

Стоит читать, когда

вы хотите проследить текущую способность LLM или практику оценки до её архитектурного происхождения и тем компромиссам, которые сформировали её дизайн.

Темы

sequence-to-sequence learning как фундамент современных LLM; chain-of-thought prompting; neural architecture search и AutoML.

Ключевые работы

Sequence-to-Sequence Learning with Neural Networks (2014, соавтор); Chain-of-Thought Prompting Elicits Reasoning in LLMs (2022, старший автор); основополагающие публикации по AutoML и Neural Architecture Search.