Le groupe de Qiu à Fudan a publié MOSS, l'un des premiers LLM ouverts en chinois livrés avec suffisamment de documentation et d'outillage d'entraînement pour que des groupes indépendants puissent le reproduire et le modifier. Le même laboratoire est responsable de FastNLP — l'un des cadres logiciels NLP les plus utilisés du côté chinois pour la modélisation de séquences — ainsi que d'une ligne de recherche sur la récupération de démonstrations en in-context learning, qui rejoint la méthodologie d'évaluation actuelle. Pour ai100, qui audite des moteurs d'IA y compris dans leur comportement en chinois, MOSS se situe dans la partie de la littérature qui documente à quoi ressemble réellement un LLM chinois ouvert de l'intérieur, et le groupe de Qiu en est le point d'entrée le plus lisible.

À lire lorsque
vous devez comprendre le paysage des LLM ouverts en chinois depuis son origine académique interne, plutôt qu'à travers la couverture anglophone de l'actualité.
Thèmes
LLM ouverts en chinois (MOSS); écosystème FudanNLP / FastNLP; méthodologie de récupération de démonstrations en in-context learning.
Travaux clés
MOSS open Chinese LLM (2023, responsable du projet); corpus de travaux FastNLP / FudanNLP; publications sur l'in-context learning et la récupération de démonstrations.