LFM2.5-VL-DSparkでVLM推論を加速

Liquid AIは視覚言語モデル向けにスペキュラティブ・ディコーディング用のドラフトモデルLFM2.5-VL-DSparkを公開した。本ドラフターは既存のテキストモデル用アーキテクチャをVLMに適合させ、ビジョンエンコーダーと言語バックボーンの中間層で隠れ状態を抽出して候補トークンを生成する。4層構成の簡易アテンション型モデルを採用し、パラメータ数は約2.8億で展開元のLFM2.5-VL-3Bに対しメモリフットプリントを約8.9%増に抑えながら、推論品質を変動させずに速度を大幅に向上させる。 Apple Silicon搭載デバイスおよびNVIDIA H100環境でのベンチマークでは、オンデバイス推論においてデコード速度が最大約3.13倍、エンドツーエンドレイテンシが約2.62倍改善された。データセンターGPU環境ではデコード速度が最大約20倍に達する。ただし、画像エンコードとprefill処理が全体の処理時間を支配するため、Amdahlの法則によりエンドツーエンドでの総合効率化はデコード単体の速度向上ほど劇的になる傾向にない。 対応ソフトウェアエコシステムにはSGLang、llama.cpp、MLX-VLMが含まれ、各フレームワークの専用ビルドおよびブロックサイズ設定（8〜9）で容易に統合可能。モデルはSafetensorsおよびGGUF形式でHugging Faceより公開されており、モバイルからサーバー環境まで幅広いハードウェアでVLMの推論効率化を可能にする。Liquid AIは本技術により、リソース制約下のエッジ環境におけるマルチモーダルAIの実用化を加速させる方針だ。