Основоположники Основоположники Напрямую в основе методологии ai100

Maosong Sun

Как выглядит экосистема открытых LLM, когда она вырастает из китайского академического NLP, а не из западных некоммерческих организаций вроде AI2.

Sun руководит лабораторией THUNLP в Tsinghua, академическим якорем проекта OpenBMB — китайской параллелью усилию AI2 OLMo, выпускающей открытые большие модели (CPM и другие) вместе с инфраструктурой обучения (BMTrain), необходимой для их воспроизведения. Его более широкая работа по параметрически эффективному дообучению (fine-tuning) выросла из того же инстинкта: взять дорогие техники, разработанные в закрытых лабораториях на масштабе, найти версию для малых данных, работающую на академических вычислениях, и выпустить результат в открытом доступе. Для ai100, который аудитирует AI-движки в разных языковых регионах, читать Sun — значит видеть, как выглядит открытая модельная альтернатива, когда она растёт из китайских институциональных корней, а не из западных.

Стоит читать, когда: вы хотите понять китайскую экосистему открытых LLM и параметрически эффективные методы, которые сделали академические исследования LLM возможными на реалистичных вычислениях.
Темы: открытые платформы больших моделей из Китая (OpenBMB, семейство CPM); методология параметрически эффективного дообучения (fine-tuning); корпус работ THUNLP по китайскоязычному NLP.
Ключевые работы: корпус работ проекта OpenBMB (с 2022 года, ключевой участник); публикации по параметрически эффективному дообучению (fine-tuning); фундаментальные публикации THUNLP по китайскому NLP.