RecallM : Un mécanisme de mémoire adaptable avec compréhension temporelle pour les grands modèles linguistiques

Les grands modèles linguistiques (LLM) ont accompli des progrès remarquables dans le domaine de l’intelligence artificielle et ont fait preuve de capacités exceptionnelles dans une grande variété de tâches et de domaines. Toutefois, à mesure que nous nous rapprochons de la création de systèmes d’intelligence générale artificielle (AGI), il devient évident que les LLM doivent être complétés par une mémoire à long terme afin de surmonter la limitation de la fenêtre contextuelle, et plus encore, pour établir une base solide permettant un raisonnement soutenu, un apprentissage cumulatif et une interaction prolongée avec l’utilisateur. Dans cet article, nous proposons RecallM, une nouvelle architecture permettant aux LLM d’acquérir un mécanisme de mémoire à long terme adaptable et mis à jour. Contrairement aux approches précédentes, l’architecture RecallM se distingue particulièrement par son efficacité dans la mise à jour des croyances et la conservation d’une compréhension temporelle des connaissances fournies. Nous démontrons, à travers diverses expérimentations, l’efficacité de cette architecture. En outre, à travers nos propres expériences sur la compréhension temporelle et la mise à jour des croyances, nous montrons que RecallM est quatre fois plus efficace qu’un système de base de données vectorielle pour mettre à jour les connaissances précédemment stockées en mémoire à long terme. Nous démontrons également que RecallM atteint des performances compétitives sur des tâches générales de réponse aux questions et d’apprentissage dans le contexte.