Matthew Ho Chen Si Zhaoxiang Feng Fangxu Yu Zhijian Liu et al

Résumé

Alors que l’augmentation de l’échelle au moment de l’inférence permet aux grands modèles linguistiques (LLM) de réaliser des raisonnements de plus en plus longs et performants, les motifs et les insights découverts au cours de ces raisonnements sont immédiatement perdus dès que la fenêtre contextuelle est réinitialisée pour une nouvelle requête. La mémoire externe constitue une solution naturelle pour conserver ces découvertes, et des travaux récents ont montré des bénéfices significatifs pour les tâches exigeant un raisonnement intensif. Nous voyons une opportunité de rendre ces mémoires plus largement réutilisables et évolutives en dépassant les entrées mémoire basées sur des instances (par exemple, paires exactes requête/réponse, ou résumés étroitement couplés au contexte initial du problème) pour adopter une mémoire au niveau des concepts : des abstractions modulaires et réutilisables, extraites à partir des traces de résolution et stockées sous forme de langage naturel. Pour les requêtes futures, les concepts pertinents sont sélectionnés et intégrés au prompt, permettant ainsi un apprentissage continu au moment du test sans mise à jour des poids. Notre architecture introduit de nouvelles stratégies pour extraire des enseignements à partir des trajectoires de résolution et pour récupérer des entrées pertinentes lors de nouvelles requêtes, favorisant ainsi la réutilisation et permettant à la mémoire de s’élargir avec de nouvelles expériences. Sur le défi du benchmark ARC-AGI, notre méthode obtient une amélioration relative de 7,5 % par rapport à une base robuste sans mémoire, avec une performance qui continue de croître avec l’augmentation des ressources de calcul d’inférence. Nous constatons que les concepts abstraits représentent la conception de mémoire la plus cohérente, surpassant la base à toutes les échelles de calcul d’inférence testées. En outre, nous confirmons que la mise à jour dynamique de la mémoire au moment du test donne de meilleurs résultats qu’un cadre de mémoire fixe identique, même avec des tentatives supplémentaires, ce qui soutient l’hypothèse selon laquelle la résolution de plus de problèmes et l’abstraction de plus de motifs dans la mémoire permettent d’obtenir davantage de solutions, dans une forme d’auto-amélioration. Le code est disponible à l’adresse suivante : https://[URL].