Forschende haben ein neues Verfahren vorgestellt, das künstlichen Sprachmodellen eine schlafähnliche Phase ermöglicht, um die Herausforderungen bei der Verarbeitung langer Kontexte zu bewältigen. Bisher leiden transformerbasierte Modelle daran, dass ihre Aufmerksamkeitsmechanismen bei steigender Kontextlänge ineffizient werden. Um dies zu lösen, entwickelten die Experten einen Konsolidierungsprozess, der der menschlichen Gedächtnisbildung ähnelt. Während dieser Schlafphase konvertiert das Modell kürzlich verarbeitete Informationen in anhaltende schnelle Gewichte, bevor es seinen normalen Arbeitsspeicher leert. In diesem Modus führt das System mehrere Offline-Reihenfolgen von Überprüfungen des gesamten Kontexts durch. Dabei werden die schnellen Gewichte in den State-Space-Modul-Blöcken durch eine erlernte lokale Regel aktualisiert. Dieser Ansatz verlagert die zusätzlichen Berechnungen auf die Schlafphase. Während der eigentlichen Arbeitsphase, also der Interaktion mit dem Nutzer, bleibt die Vorhersagegeschwindigkeit unverändert, da keine rechenintensiven Prozesse mehr notwendig sind. Das Team testete diese Methode anhand verschiedener synthetischer Aufgaben, darunter zelluläre Automaten und mehrstufige Graphenabfragen, sowie an einer realistischen mathematischen Aufgabenstellung. Bei diesen Tests scheiterten herkömmliche Transformer-Modelle sowie hybride Modelle, die Aufmerksamkeits- und State-Space-Methoden kombinieren, regelmäßig an der Lösung. Die neuen Schlaf-Modelle hingegen zeigten signifikante Fortschritte. Die Ergebnisse deuten darauf hin, dass eine Verlängerung der Schlafdauer direkt die Leistungsfähigkeit steigert. Besonders bei Beispielen, die tiefgreifende logische Schlussfolgerungen erfordern, wurden die größten Verbesserungen beobachtet. Durch die Simulation einer Ruhephase können die Modelle ihre Erfahrungen besser verdauen und in stabileres Wissen umwandeln, anstatt sie nur oberflächlich zu speichern. Dies ermöglicht eine effizientere Bewältigung von Aufgaben mit langer Horizonz, bei denen bisherige Architekturen an ihre Grenzen stießen. Die Studie liefert somit einen vielversprechenden Ansatz für die nächste Generation von KI-Systemen, die komplexe, langfristige Abläufe verarbeiten müssen. Der Ansatz zeigt, dass eine Trennung zwischen aktiver Verarbeitung und interner Konsolidierung die Skalierbarkeit von Sprachmodellen fundamental verbessern kann. Die Forschung wurde auf dem arXiv veröffentlicht und adressiert zentrale Probleme der aktuellen KI-Entwicklung, indem sie biologische Prinzipien auf technische Architekturen überträgt, um Effizienz und Leistung bei langen Kontextfenstern zu steigern.