自分自身を引き上げる：自己記憶を用いた検索拡張型テキスト生成

人間が執筆した参照情報を直接メモリとしてアクセスできるため、リトリーブ増強生成（retrieval-augmented generation）は、広範なテキスト生成タスクにおいて著しい進展を遂げてきた。より良いメモリがより優れた生成を促すという前提（これを「基本問題」と定義する）に基づくと、従来のメモリ検索アプローチは、入力と最も類似するメモリを選択するものである。しかし、この方法は固定されたコーパスからのメモリ抽出に依存しており、その品質に制約を受ける。本論文では、この基本問題の双対性——すなわち、より良い生成がより良いメモリを促進する——に着目し、反復的にリトリーブ増強生成器を用いて無限に拡張可能なメモリプールを生成し、メモリ選択器により次の生成ラウンド用のメモリとして一つの出力を選定する、新しいフレームワーク「selfmem」を提案する。これにより、モデルは自身の出力（自己メモリ、self-memory）を活用して生成性能を向上させることができる。我々は、微調整された小規模モデルおよびFew-shot LLMの2つの生成パラダイム下で、ニューラル機械翻訳、要約生成（抽象的要約）、対話生成という3つの異なるテキスト生成タスクにおいて、selfmemの有効性を評価した。その結果、JRC-Acquis、XSum（ROUGE-1: 50.3）、BigPatent（ROUGE-1: 62.9）の4つの評価指標において、最先端の性能を達成し、自己メモリがリトリーブ増強生成モデルの性能向上に潜在的な価値を持つことを示した。さらに、selfmemフレームワークの各構成要素について包括的な分析を行い、課題の所在を特定するとともに、今後の研究に向けた知見を提供した。