HyperAI超神経

メモリ拡張モデル

記憶拡張モデル(M+)は、カリフォルニア大学サンディエゴ校と複数の研究チームによって2025年5月30日に提案された、MemoryLLMに基づく記憶拡張モデルです。長期記憶を保持する能力を大幅に向上させることができます。関連する論文の結果は次のとおりです。M+: スケーラブルな長期記憶による MemoryLLM の拡張”。

M+は、長期記憶メカニズムと共同学習されたリトリーバーを統合し、テキスト生成中に関連情報を動的に取得します。研究チームは様々なベンチマークでM+を評価し、実験結果から、M+はMemoryLLMや最近の強力なベースラインモデルを大幅に上回り、GPUメモリのオーバーヘッドは同等のまま、知識保持容量を2万トークン未満から16万トークン以上に拡張できることを示しました。