小型言語モデルの語彙最適化で推論コスト77%削減

Dharma AIは、ドメイン特化型小型言語モデルの推論コストを削減する語彙最適化手法VocabXを開発した。研究は査読中で、論文は間もなく公開予定だ。 検証対象は、Qwen3-4Bを基盤にしたポルトガル語作文の自動採点システムだ。汎用語彙をそのまま使うと、定型のJSONや評価文が多数のトークンに切られ、さらに約15万語彙へ毎ステップスコアを算出するため、特に生成時のコストが高かった。VocabXは出現頻度ではなく、トークンの種類別価格や生成の重さを基準に語彙を再構成する。サブワードと、繰り返し文書やJSON構造をまとめるマクロトークンを併用し、出力層の語彙を約6.5万に縮小した。 同一データ、学習手順、乱数で7モデルを作り、RTX 5090とvLLMで500リクエストを計測した。平均応答長は350トークンから101へ減少し、実測推論コストは77.0%低下した。採点精度と除外判定を総合したベンチスコアも0.703から0.810へ向上した。成績をJSONと一体で圧縮する初期案は品質が下がったが、成績を専用トークンに分離すると、2トークン増加しても品質と実測コストで有利だった。 契約書、医療論文、科学論文、ニュース、Pythonコードでも評価した。既存の語彙変換やBPE拡張を上回り、15組み合わせすべてでトークン圧縮と推論コストで優位を示した。契約書では62.6%トークン削減を語彙113,426で達成し、61.8%削減で語彙207,803を使う従来手法を上回った。