À la mi-2023, le nombre d'articles sur « les LLM peuvent raisonner » dépassait la capacité de suivi de n'importe quel lecteur individuel — chaîne de raisonnement, décomposition, planification, auto-cohérence, in-context learning, chacun avec de multiples variantes et des affirmations concurrentes. L’article de synthèse de Chang "Towards Reasoning in LLMs" (2023, avec Jie Huang) a donné au domaine sa première carte raisonnablement complète du territoire, en organisant les techniques par mécanisme, paradigme d'évaluation et résultats empiriques sur ce qui se transfère ou non d'une tâche à l'autre. Lire cet article de synthèse est la manière la plus nette d'acquérir un vocabulaire partagé avec la littérature sans devoir le reconstruire à partir d'une centaine de résumés d'articles.

À lire lorsque
vous devez entrer rapidement dans la recherche sur le raisonnement des LLM et voulez une carte structurée relue par les pairs plutôt qu'une liste de lectures sélectionnée.
Thèmes
méthodologie de synthèse pour sous-domaines en évolution rapide; taxonomie des techniques de raisonnement des LLM; structure de la littérature sur le raisonnement des LLM.
Travaux clés
"Towards Reasoning in Large Language Models: A Survey" (2023, avec Huang); long corpus de travaux sur la fouille de données, la recherche dans le web profond et l'articulation NLP+IR à UIUC.