16日前

RecallM:大規模言語モデル向けの時系列理解を備えた適応型メモリ機構

Brandon Kynoch, Hugo Latapie, Dwane van der Sluis
RecallM:大規模言語モデル向けの時系列理解を備えた適応型メモリ機構
要約

大規模言語モデル(LLM)は人工知能分野において著しい進展を遂げており、多様なタスクおよび分野において顕著な能力を示している。しかし、人工汎用知能(AGI)システムの構築に近づくにつれ、コンテキスト窓の制限を克服するためだけでなく、持続的な推論、累積的学習、長期的なユーザーとの対話の基盤を構築するためには、LLMに長期記憶機能を補完する必要があることが明らかになってきた。本論文では、LLMに適応可能かつ更新可能な長期記憶メカニズムを提供するための新しいアーキテクチャ「RecallM」を提案する。従来の手法とは異なり、RecallMアーキテクチャは信念の更新および提供された知識に対する時間的理解を維持する点で特に効果的である。さまざまな実験を通じて、このアーキテクチャの有効性を実証した。さらに、自らの時間的理解と信念更新に関する実験において、RecallMが従来のベクトルデータベースを用いた長期記憶内の知識更新よりも4倍の効率性を示すことを明らかにした。また、一般的な質問応答およびコンテキスト内学習タスクにおいても、RecallMが競争力のある性能を発揮することを示した。