VocabX réduit de 77% le coût d'inférence des SLMs

Un article technique de Dharma AI décrit VocabX, une méthode qui spécialise le vocabulaire des petits modèles de langage pour réduire fortement leur coût d’inférence, sans modifier le modèle de base. Dans un correcteur automatique d’essais en portugais déployé en production, fondé sur Qwen3-4B, l’approche a fait baisser le coût mesuré de 77 %, tout en améliorant la qualité des évaluations. Les modèles de langage généralistes héritent d’un tokenizer, le module qui convertit le texte en jetons, conçu pour de nombreux domaines et langues. Pour un usage spécialisé, ce choix devient coûteux. D’un côté, il fragmente en plusieurs jetons les formulations répétées, comme les structures JSON ou les phrases d’évaluation. De l’autre, il conserve des dizaines de milliers d’entrées inutilisées, que le modèle doit convertir en probabilités à chaque étape de génération. Cette opération pèse surtout dans la phase de décodage, où la mémoire devient souvent la ressource limitante. Dans le cas mesuré, un jeton généré coûtait environ 7,4 fois plus qu’un jeton lu. VocabX prend le contrepied des méthodes classiques, qui sélectionnent les jetons les plus fréquents. La méthode estime plutôt le gain réel en coût et en temps de chaque jeton supprimé, en différenciant les coûts selon qu’il apparaît dans le message système, le message utilisateur ou la réponse du modèle. Elle intervient aussi sur deux niveaux: la découpe des sous-mots et l’intégration de séquences complètes dans un seul jeton, nommé macro-jeton. Cinq algorithmes de recherche détectent les répétitions typiques du domaine, notamment les mots longs, les lignes entières, les expressions, les phrases ou les structures balisées comme JSON. Pour éviter de sous-estimer les expressions rares dans les échantillons d’entraînement, VocabX complète les mesures par une estimation statistique. Cette correction a porté la réduction de jetons sur un corpus de contrats de 44,7 % à 52,8 %. Sur le correcteur en production, testé sur un GPU RTX 5090, la taille du vocabulaire de sortie est passée d’environ 152 000 à 65 000 lignes. La réponse moyenne est tombée de 350 à 101 jetons, le coût a reculé de 77 % et le score de qualité est passé de 0,703 à 0,810. L’équipe a découvert qu’une compression trop agressive nuisait à la performance: fusionner la note et sa structure JSON dans un même macro-jeton réduisait légèrement moins le coût et dégradait la qualité. Donner une place distincte à la note s’est avéré plus efficace. Les auteurs ont également testé VocabX sur cinq domaines et trois familles de modèles, dont Qwen3, Llama-3.1 et Gemma-3. Dans ces expérimentations, la version élaguée a obtenu de meilleurs résultats que les meilleures références sur les quinze combinaisons, avec des gains de 1,2 à 9,3 points en compression de jetons et une réduction supplémentaire du coût d’inférence estimé. Dans les contrats, elle a atteint 62,6 % de réduction de jetons avec 113 426 entrées, contre 61,8 % pour la meilleure variante concurrente. Les résultats restent provisoires, le papier complet devant être publié prochainement.