Vokabular-Spezialisierung senkt SLM-Inferenzkosten um 77 %

Dharma AI stellt mit VocabX ein Verfahren vor, das die Tokenisierung kleiner Sprachmodelle für konkrete Domänen optimiert und damit die Inferenzkosten deutlich senkt. In einem produktiven Bewertungsassistenten für portugiesische Aufsätze, der auf Qwen3-4B basiert, sanken die gemessenen Kosten um 77 Prozent, obwohl Basismodell, Trainingsdaten und Trainingsrezept unverändert blieben. Die durchschnittliche Antwortlänge fiel von 350 auf 101 Tokens. Der Qualitätswert stieg zugleich von 0,703 auf 0,810. Gemessen wurde in einer Umgebung mit vLLM und einer RTX 5090. Der Ansatz adressiert ein häufiges Problem spezialisierter Modelle: Sie übernehmen die Vokabulare generalistischer Basismodelle, die für viele Sprachen, Domänen und Textformen optimiert sind. Für eng abgegrenzte Anwendungen entsteht dadurch zweifacher Overhead. Zum einen werden wiederkehrende Inhalte wie JSON-Strukturen, Kompetenznamen oder Standardformulierungen in unnötig viele Tokens zerlegt. Zum anderen muss das Modell bei jeder ausgegebenen Token-Bewertung eine sehr große Ausgabe-Schicht durchlaufen, im untersuchten Fall rund 151.669 Einträge, obwohl viele Einträge in der jeweiligen Aufgabe praktisch nie verwendet werden. Besonders die Ausgabe ist kostspielig, weil sie im Decode-Schritt nacheinander erzeugt wird und dabei stark durch Speicherbandbreite begrenzt ist. Im getesteten Bewertungsassistenten kostete ein ausgegebenes Token etwa das 7,4-Fache eines eingelesenen Tokens. VocabX bewertet Token-Kandidaten daher nicht primär nach Häufigkeit, sondern nach tatsächlichem Kostennutzen. Ein Token in der Ausgabe wird dabei höher gewichtet als ein Token im Input. Das Verfahren ändert die Vokabularschicht, ohne das Basismodell neu zu trainieren. Auf Unterwortebene optimiert es die Zerlegung von Domänenwörtern. Auf Mehrewortebene erkennt es wiederkehrende längere Abschnitte wie Zeilen, Sätze, Ausdrücke und strukturierte JSON-Elemente und ersetzt sie durch kompakte Makro-Tokens. Ein entscheidender Fortschritt liegt darin, den möglichen Einsparwert seltener, aber im Gesamtkorpus wichtiger Token-Kandidaten statistisch abzuschätzen, statt sie auf kleinen Samples auszufiltern. Auf einem Vertragskorpus erhöhte sich die Token-Reduktion dadurch von 44,7 auf 52,8 Prozent. In Vergleichstests übertrifft VocabX Referenzmethoden wie Fast Vocabulary Transfer, Multi-Word Tokenization und in-place BPE in fünf öffentlichen Domänen, darunter Verträge, medizinische Artikel, wissenschaftliche Publikationen, Nachrichten und Python-Code, sowie in den Modellfamilien Qwen3, Llama-3.1 und Gemma-3. Die gemittelten Kostenvorteile lagen bei 10,2 Punkten für Qwen3, 7,5 Punkten für Llama-3.1 und 13,6 Punkten für Gemma-3. Auf Vertragsdaten erreichte VocabX eine Token-Reduktion von 62,6 Prozent bei 113.426 Vokabulareinträgen, während die beste Vergleichskonfiguration 61,8 Prozent mit 207.803 Einträgen erzielte. Die Ergebnisse zeigen zugleich, dass maximale Kompression nicht automatisch optimal ist. Eine frühe Variante verschmolz Bewertungen innerhalb der JSON-Struktur zu einem einzigen Makro-Token. Das war kürzer, senkte aber den Qualitätswert. Die Rückgabe der Bewertung als eigenes Token erhöhte die Antwortlänge um zwei Tokens, verbesserte die Leistung jedoch deutlich und war im Messlauf sogar kostengünstiger. Die Zahlen stammen aus dem angekündigten VocabX-Paper und können vor der offiziellen Veröffentlichung noch variieren.