視覚ヘッドのスパース性を利用したKVキャッシュ最適化戦略（MLLMにおける視覚概念応答からのスパース性出現、SparseMMと呼ばれる）は、清華大学インテリジェントビジョンラボとテンセント渾源Xグループによって2025年6月5日に提案されたキーバリューキャッシュ最適化戦略である。この戦略は、大規模言語モデルの各アテンションヘッドに、視覚スコアに応じて非対称な計算予算を割り当てる。関連論文の結果は以下の通り。SparseMM: MLLMにおける視覚概念応答から頭部スパース性が出現する”。

SparseMMは、従来の手法と比較して、デコード時に視覚的なセマンティクスを優先し、それを保持します。主流のマルチモーダルベンチマークを用いた広範な評価により、SparseMMは精度と効率のトレードオフにおいて優れた結果を示しています。効率テストでは、SparseMMは同等のパフォーマンスを維持しながら、リアルタイム速度が1.38倍向上し、メモリを52%削減しました。