Langzeitgedächtnis für große Sprachmodelle neu gedacht: Testzeit-Training ermöglicht lernfähige Modelle Große Sprachmodelle (LLMs) werden zunehmend mit längeren Kontextfenstern beworben – bis zu 128.000 oder sogar zwei Millionen Tokens – mit der Aussicht, ganze Gespräche, Bücher oder Codebasen gleichzeitig zu verarbeiten. Doch trotz dieser Kapazitäten wiederholen sie häufig dieselben Fehler und benötigen oft wiederholtes Nachladen früherer Kontexte, um eine Aufgabe korrekt zu verstehen. Im Gegensatz dazu lernt ein menschlicher Kollege aus Erfahrung, passt sich an und nutzt eingefahrene Muster. Warum können LLMs das nicht? Ein zentraler Unterschied liegt im Gedächtnis: Menschen speichern nicht jede Einzelheit, sondern komprimieren Erfahrungen in intuitive, vorhersagbare Wissensstrukturen. LLMs hingegen basieren auf Selbst-Attention (Full Attention), das jedes Token speichert und vergleicht – was zwar präzise, aber extrem ineffizient ist. Die Rechenkosten steigen linear mit der Kontextlänge: Der 10-Millionstes Token braucht eine Million Mal länger als der 10. Teure Approximationen wie Sliding-Window-Attention oder Architekturen wie Mamba oder Gated DeltaNet reduzieren die Latenz, verlieren aber an Genauigkeit bei langen Kontexten. Die neue Methode TTT-E2E (End-to-End Test-Time Training) löst dieses Dilemma: Sie nutzt die bereits vorhandene Fähigkeit von LLMs, durch Next-Token-Prediction Wissen in ihren Gewichten zu speichern – und erweitert dies auf die Testzeit. Während des Inferenzprozesses wird das Modell nicht nur auf den gegebenen Kontext reagieren, sondern ihn aktiv durch kontinuierliches Training (mit Next-Token-Prediction) in seine Gewichte komprimieren. Dies geschieht in einem zweistufigen Prozess: Ein innerer Optimierungsschleife passt die Gewichte an, während ein äußerer Schleife die endgültige Leistung optimiert – beides über Meta-Learning. Die Ergebnisse sind beeindruckend: TTT-E2E erreicht bei 128K Kontextlänge die beste Verlustleistung (Loss) und bleibt gleichzeitig extrem effizient. Im Vergleich zu Full Attention ist es 2,7-mal schneller auf einem NVIDIA H100 und bei 2M Tokens sogar 35-mal schneller, mit konstanter Latenz unabhängig von der Kontextlänge. Anders als alle anderen Ansätze zeigt TTT-E2E keine Sättigung – die Skalierbarkeit hält über umfangreiche Tests an. Im Vergleich zu Retrieval-Methoden wie RAG (Retrieval-Augmented Generation), die Informationen extern „notieren“ und nachschlagen, funktioniert TTT-E2E wie ein sich selbst aktualisierendes Gehirn. RAG bleibt nützlich für präzise Details, aber die eigentliche Intelligenz und Effizienz eines Systems beruht auf der Fähigkeit, Kontext zu verstehen und zu lernen – genau das, was TTT-E2E ermöglicht. Begrenzungen bestehen im Trainingsprozess: Die Meta-Learning-Phase erfordert Gradienten von Gradienten, was derzeit 3,4-mal langsamer ist als herkömmliches Pre-Training, da gängige APIs wie FlashAttention dies nicht unterstützen. Lösungen liegen in speziellen Kernel-Entwicklungen oder in der Initialisierung von TTT-E2E mit herkömmlichen Transformers. Insgesamt markiert TTT-E2E einen Meilenstein: Erstmals zeigt eine Methode, dass LLMs sowohl langen Kontext effizient verarbeiten als auch aus ihm lernen können – ein Schritt hin zu kognitiv stärkeren, adaptiven KI-Systemen. Experten gehen davon aus, dass dies bis 2026 die Grundlage für die nächste Generation von LLMs bilden könnte. Die Forschung ist öffentlich zugänglich, und die Community ist aufgerufen, an der Weiterentwicklung mitzuwirken.