新しいAIアーキテクチャ「タイタン」： Transformerの限界を超えた動的な記憶を持つモデル このタイトルは以下のようにも表現できます： タイタン： Transformerの次世代アーキテクチャが動的記憶を実現 Googleの新研究「タイタン」： AIに長期記憶と即時適応機能を追加 タイタンが Transformerの弱点を克服： 動的長期記憶で新たな可能性を開拓 これらの中から最も適切なものを選択するか、またはさらに微調整して使用することができます。

AIの「記憶」がヒトのように適応可能に——Googleの新アーキテクチャ「Titans」 Google Researchのチームが開発した「Titans」（ベフラウズら、2025）は、大規模言語モデル（LLM）の「記憶」と「学習」機能を大きく向上させることを目指した新アーキテクチャです。この研究の核心は、変化に適応する能力と長期の記憶を持たせるために、 Transformersの限界を超えた複数のメモリシステムを活用することです。 現行の基盤技術の問題点 Transformers（バスワニーら、2017）は、現代のAI分野で広く採用されているアーキテクチャですが、その全体会話の「注意メカニズム」は計算コストが高いため、長期記憶や連続的な学習の課題に直面しています。また、訓練後の適応性の欠如により、新しい情報を即座に処理することは難しいという制約もあります（マンドラー、2014）。これが長文文書の理解や会話を追跡する際の主要なボトルネックとなっています。 新アーキテクチャ「Titans」の構成 Titansのアーキテクチャは、短中期記憶（STM）、長期記憶モジュール（LMM）、永続記憶（PM）の3つのメモリシステムによって構成されます。 短期記憶（STM）: 現在の入力に対して即時に注目し、直近の情報を処理します。 長期記憶モジュール（LMM）: 推論中にパラメータを更新することで学習します。これは、個々の入力データの「サプライズ信号」に基づいて、重要性に応じて情報の保持や忘却を行うメカニズムです。 永続記憶（PM）: 主に訓練時において得られた基本的なタスク固有の知識を保持します。 長期記憶モジュール（LMM）の学習手法 アソシエイティブロス関数: LMMは「キー」（ヒント）と「バリュー」（情報）を結びつけるアソシエイティブメモリとして働きます。 現在のデータの「サプライズ」（予測値と実際の出力との乖離）によってロス関数が計算され、LMMのパラメータが更新されます。 勾配と「サプライズ」信号: 予測値との差が大きい場合、データは「サプライズ」として認識され、パラメータ更新が行われます。 トレンドの認識と忘却: 積み重ねられた「サプライズ」に基づいて最も適切な方向性を計算します。 必要に応じて古い情報を忘却し、新しい情報を取り入れます。 Titansの3つのアーキテクチャ メモリとしてのコンテキスト（MAC）: 長期間の入力セクションを分割し、STMが現在のコンテキストを処理するときにLMMから補完的な情報を取得します。 この高度なコンテキストを利用して、より深い文脈理解を達成します。 ゲートとしてのメモリ（MAG）: STMとLMMの出力を、動的なゲートを介してブレンドします。 このゲートは、ローカルの注意とLMMからの情報を選択的に統合します。 レイヤーとしてのメモリ（MAL）: 入力データがSTMに到達する前にLMMによって前処理されます。 LMMの出力がSTMに引き継がれ、さらに処理されます。 成果と結果 言語表現の優れた性能: LMMにより、Titansは単なる次のトークンの予測だけでなく、より深い言語と文脈の理解を示しました。 Transformer++など強力な基準モデルを上回る Commonsense Taskのパフォーマンスが確認されました。 S-NIAHタスクでの高い持続性: 長文の文脈を維持する能力が秀逸です。16,000トークンでも低い精度の低下を保ちました（シエら、2024）。 複雑な推論テストでの卓越した成果: BABILongベンチマーク（クラトビラ、2024）では、760Mパラメータの小さなモデルがGPT-4やLlama 3.1–70Bなどの大規模モデルを上回りました。 10万トークン以上でも70％の正確さを維持し、Harry Potterシリーズ全体が入ったデータを効率的に処理できます。 時間系列予測とDNAモデリングへの適応: 時間系列予測では、専門的なモデルと同等の成績を上げました（ゼルバスら、2021）。 DNAモデリングでも高い性能を示し、メモリマネージメントの汎用性を証明しています。 業界関係者のコメント Googleの基礎的技術への貢献は、「Transformer」から始まり、「Titans」で新たな段階に入りました。この新アーキテクチャは、AIの推論時の適応と記憶に焦点を当てており、大きな進歩を示しています。しかし、効率性や簡便性、コミュニティの支持が重要な現在のAI環境において、新しい技術が広く採用されるためにはさらなる検証が必要かもしれません。それでも、TitansはAIが動的に学習し、より知的に行動する未来への有力な候補となりうると評価されています。