Forschende der University of British Columbia und des Microsoft Research haben kürzlich SeKV vorgestellt, eine neue Architekturkomponente, die die Speicherengpässe großer Sprachmodelle bei der Langtext-Inferenz erheblich reduziert. Die Methode, unter Mitwirkung von Microsoft Senior Researcher Yuhang He entwickelt, adressiert ein fundamentales Limit aktueller KI-Systeme: die lineare Skalierung des Key-Value-Caches, die den GPU-Speicher bei langen Dokumenten rasch erschöpft. Durch die Integration eines leichten Routing-Moduls, das die Parameterzahl des Basismodells um weniger als fünfhundertstels eines Prozentpunkts erhöht, ermöglicht SeKV Standard-Grafikkarten mit 24 Gigabyte VRAM, Kontextfenster von bis zu 300.000 Token zu verarbeiten. Dies verdreifacht die zuvor verfügbare Verarbeitungslänge und senkt den VRAM-Verbrauch um über 53 Prozent. Der technische Ansatz weicht von herkömmlichen Truncation- oder statischen Summarisierungsverfahren ab, die Kontextinformationen irreversibel verwerfen. Stattdessen zerlegt SeKV den Input in semantisch geschlossene Abschnitte. Nur essentielle Zusammenfassungsvektoren und kritische Retrieval-Anker verbleiben im schnellen GPU-Speicher. Die detaillierten Key-Value-Paare werden durch Singulärwertzerlegung auf etwa ein Zwanzigstel ihrer ursprünglichen Größe komprimiert und im Systemarbeitsspeicher abgelegt. Erkennt das Modell auf Basis der Anfrage relevante Segmente, lädt das Routing-Modul die benötigten Daten dynamisch zurück. Dieser On-Demand-Mechanismus bewahrt die vollständige Informationsdichte ohne permanente Datenverluste. Das Training des Routing-Moduls erfordert nur zwei bis sechs Stunden auf acht A100-Workstations. Die Integration ist vollständig kompatibel mit bestehenden vortrainierten Modellen, was aufwendiges Re-Training oder Fine-Tuning überflüssig macht. Evaluationen zeigen, dass SeKV bei nur zehn Prozent des ursprünglichen Speicherverbrauchs die Genauigkeit bestehender semantischer Kompressionsverfahren um fast sechs Prozentpunkte übertrifft. Die Methode entkoppelt die Inferenzleistung von teurer Enterprise-Hardware und macht Long-Context-Fähigkeiten für consumer-Grade Infrastruktur zugänglich. Die praktischen Anwendungen decken breite professionelle Felder ab. Jurist:innen können mehrhundertseitige Verträge prüfen, Forschende umfangreiche wissenschaftliche Korpora analysieren und kreative Workflows lange narrative Texte verarbeiten, ohne auf Hardware-Limits zu stoßen. SeKV stellt eine skalierbare und wirtschaftlich praktikable Lösung dar, die die Eintrittsbarrieren für den Einsatz langer Kontextfenster deutlich senkt. Die zugrundeliegenden Ergebnisse wurden kürzlich auf arXiv veröffentlicht und markieren einen signifikanten Schritt zur Demokratisierung fortgeschrittener KI-Kapazitäten.