変圧器ベースの大型言語モデルは長い文脈の処理に広く利用されていますが、そのアテンション機構は文脈の長さに対して計算コストが急増する問題を抱えています。この課題に対処するため、研究チームは睡眠に似た統合メカニズムを提案し、短期間モデルが定期的に最新の文脈情報を永続的な高速重みに変換し、鍵・値キャッシュをクリアする手法を研究しました。この睡眠プロセスでは、モデルは蓄積された文脈に対してオフラインで再帰的なパスを数回実行し、学習された局所ルールを通じて状態空間モデルブロック内の高速重みを更新します。推論時は追加の計算を睡眠時にシフトさせることで、動作時の予測におけるレイテンシーを維持しています。 この手法は、セルオートマトンや多段階グラフ検索といった制御された合成タスク、そして既存の通常トランスフォーマーや状態空間モデルを併用したハイブリッドモデルでは成功しない現実的な数学的推論タスクでテストされました。実験の結果、睡眠の期間を長くするとモデルの性能が向上し、特に深い推論を必要とする事例において顕著な効果が得られることが確認されました。このアプローチは、長い文脈を効率的に処理しつつ、リアルタイムでの応答速度を損なわない新たな解決策として注目されています。論文は計算と言語分野において、2024 年 5 月 26 日に arXiv で公開され、詳細な技術的根拠と性能評価データが示されています。