Command Palette

Search for a command to run...

13日前

事実検索を超えて:生成的意味空間を用いたRAGにおけるエピソード記憶

Shreyas Rajesh Pavan Holur Chenda Duan David Chong Vwani Roychowdhury

事実検索を超えて:生成的意味空間を用いたRAGにおけるエピソード記憶

要約

大規模言語モデル(LLM)は、長文の推論において根本的な課題に直面している。多くの文書はモデルの有限なコンテキスト窓を超えてしまい、また、コンテキストに収まる文書についても、文の長さが増すにつれて性能が低下するため、外部記憶フレームワークによる拡張が不可欠となる。現在の対応策は、意味的埋め込み(semantic embeddings)を用いた検索から、意味の統合性と関連性を高めるためにより洗練された構造化知識グラフ表現へと進化しているが、これらは事実ベースの検索に特化しており、出来事の記憶的連続性(エピソード的出来事)に沿ってエージェントや事象を追跡するための「時空間に anchored された物語的表現(space-time-anchored narrative representations)」を構築することができない。このギャップを埋めるために、本研究では生成的意味的作業空間(Generative Semantic Workspace, GSW)を提案する。GSWは、神経科学にインスパイアされた生成的記憶フレームワークであり、進化する状況を構造的かつ解釈可能な形で表現することで、LLMが進化する役割、行動、空間的・時間的文脈に対して推論を行うことを可能にする。本フレームワークは、入力観測を中間的な意味構造にマッピングする「オペレーター」と、これらの構造を時間的・空間的・論理的な整合性を保ちながら持続可能な作業空間に統合する「レコンサイラー」から構成される。10万〜100万トークン規模のコーパスからなるエピソード記憶ベンチマーク(Episodic Memory Benchmark, EpBench)上で、GSWは既存のRAGベースのベースラインに対して最大で20%の性能向上を達成した。さらに、GSWは非常に効率的であり、最もトークン効率の高い既存ベースラインと比較して、クエリ時のコンテキストトークン数を51%削減し、推論時間コストを顕著に低減する。広く見れば、GSWはLLMに人間のようなエピソード記憶を付与するための具体的な設計指針を提供し、長時間にわたる推論が可能な高度なエージェントの実現に道を開くものである。

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
事実検索を超えて:生成的意味空間を用いたRAGにおけるエピソード記憶 | 論文 | HyperAI超神経