大規模言語モデル（LLM）は、長文のコンテキストを扱えるようになりつつあるが、依然として同じミスを繰り返す。会話の流れや過去の情報に即座に適応できず、繰り返し同じ内容を補足する必要がある。これは、人間の知能とは異なり、LLMは「記憶」を効果的に活用できていないからだ。MITやAI研究者らが提唱する新技術「テスト時学習（Test-Time Training, TTT）」は、この根本的な課題に挑む画期的なアプローチだ。 研究チームは、LLMの「記憶」が人間の記憶と本質的に異なる点に注目した。人間は経験を積むことで直感や理解を深めるが、LLMは自己注意機構（self-attention）で全トークンを記録するため、長文処理に伴い計算コストが急増する。従来のアーキテクチャは、長文処理の効率性（遅延）と精度（損失）のトレードオフに直面していた。一方、TTT-E2E（エンドツーエンドテスト時学習）は、テスト時（実行時）に与えられたコンテキストを、モデルの重みに圧縮する仕組みを採用。これにより、次トークン予測の観点から、重要で予測に役立つ情報だけを効率的に「学習」し、記憶を更新する。 実験結果では、128Kトークンの長文処理において、TTT-E2Eは全注意（full attention）と同等の精度を維持しながら、NVIDIA H100上で2.7倍高速、200万トークンでは35倍高速に処理できた。さらに、長文に応じて性能が劣化する従来手法とは異なり、TTT-E2Eはスケーラビリティに明確な向上が見られた。研究チームは、2026年までに長文処理の基本的解決に近づく可能性を示唆している。 この技術は、RAG（Retrieval-Augmented Generation）のような外部記憶補助と併用できるが、AIの生産性の本質は「記憶の圧縮力」にあると指摘。TTT-E2Eは、人間の脳が経験を内面化するように、AIがコンテキストを「理解し、学び、応用する」能力を高める。現時点では、メタ学習による勾配の勾配計算が処理速度を遅らせる課題があるが、研究チームはコードと論文を公開し、コミュニティの協力を呼びかけている。