Command Palette
Search for a command to run...
パニニ:構造化メモリを用いたトークン空間における継続学習
パニニ:構造化メモリを用いたトークン空間における継続学習
Shreyas Rajesh Pavan Holur Mehmet Yigit Turali Chenda Duan Vwani Roychowdhury
概要
言語モデルは、訓練時に扱われなかった内容——たとえば新規文書、進化する知識、ユーザー固有のデータなど——に対して推論を行うためにますます広く利用されている。一般的なアプローチとして、検索拡張生成(Retrieval-Augmented Generation, RAG)がある。これは、原文のドキュメントを外部に断片化(チャンク化)して保存し、推論時にのみ関連する部分を検索して大規模言語モデル(LLM)がその上での推論を行う方式である。しかし、この手法では推論時に同じドキュメントを繰り返し処理するため、テスト時の計算リソースの利用が非効率になる。また、チャンクの検索によって不適切な文脈が混入し、根拠のない生成を引き起こすリスクも生じる。本研究では、人間の非パラメトリック継続的学習に着想を得たフレームワークを提案する。このフレームワークでは、ベースモデルは固定されたままにし、各新しい経験を外部の意味的記憶状態に統合することで学習を実現する。この記憶状態は継続的に蓄積・統合され、時間とともに成熟する。我々は、この思想を実現するシステム「Panini」を提示する。Paniniは、ドキュメントを「生成的意味的ワークスペース(Generative Semantic Workspace, GSW)」として表現する。GSWは、エンティティとイベントに敏感な質問・回答(QA)ペアのネットワークであり、LLMが経験した状況を再構築し、ネットワーク上で推論に基づく推論チェーンを用いて潜在的な知識を抽出するのに十分な表現力を有する。クエリが与えられた際、Paniniは原文のドキュメントやチャンクを直接参照するのではなく、継続的に更新されるGSWを走査し、最も可能性の高い推論チェーンを検索する。6つのQAベンチマークにおける実験結果から、Paniniは他の競合手法と比較して平均性能で5%~7%優れており、回答に必要な文脈トークン数を2~30倍削減している。また、完全にオープンソースのパイプラインをサポートし、構成された無回答性のクエリに対する根拠のない回答を大幅に削減した。これらの結果から、GSWフレームワークが書き込み時(write time)に経験を効率的かつ正確に構造化することで、読み込み時(read time)における計算効率と信頼性の両面で顕著な向上が得られることを示している。コードは以下のURLから公開されている:https://github.com/roychowdhuryresearch/gsw-memory