Chenze Shao Darren Li Fandong Meng Jie Zhou

Abstract

Die Effizienz großer Sprachmodelle (LLMs) ist grundlegend durch ihren sequenziellen, tokenweise Generierungsprozess begrenzt. Wir argumentieren, dass die Überwindung dieses Engpasses eine neue Skalierungsachse für LLMs erfordert: die Erhöhung der semantischen Bandbreite jedes generativen Schritts. Dazu stellen wir Continuous Autoregressive Language Models (CALM) vor, eine Paradigmenverschiebung von der diskreten Vorhersage des nächsten Tokens hin zur kontinuierlichen Vorhersage des nächsten Vektors. CALM nutzt einen hochauflösenden Autoencoder, um einen Block von K Tokens in einen einzigen kontinuierlichen Vektor zu komprimieren, aus dem die ursprünglichen Tokens mit einer Genauigkeit von über 99,9 % rekonstruiert werden können. Dadurch lässt sich Sprache als Folge kontinuierlicher Vektoren statt diskreter Tokens modellieren, wodurch die Anzahl der generativen Schritte um den Faktor K reduziert wird. Diese Paradigmenverschiebung erfordert ein neues Modellierungs-Toolkit; daher entwickeln wir einen umfassenden, wahrscheinlichkeitsfreien Rahmen, der robustes Training, Evaluation und steuerbare Sampling im kontinuierlichen Raum ermöglicht. Experimente zeigen, dass CALM die Leistung-Kosten-Relation erheblich verbessert und die Leistung starker diskreter Baseline-Modelle bei deutlich geringerem Rechenaufwand erreicht. Vor allem aber etablieren diese Ergebnisse die Vorhersage von nächsten Vektoren als eine leistungsstarke und skalierbare Strategie für extrem effiziente Sprachmodelle. Code: https://github.com/shaochenze/calm. Projekt: https://shaochenze.github.io/blog/2025/CALM.