NVIDIAが、長文処理と大規模バッチ推論の性能向上を目指した新たなKVキャッシュ量子化技術「NVFP4」を発表した。この技術は、Transformerモデルの推論において、キー（Key）とバリュー（Value）のキャッシュ（KVキャッシュ）を4ビット精度に圧縮することで、メモリ使用量を最大50％削減し、コンテキスト長を2倍に拡張できる。結果として、より長い文章処理や大規模な同時処理が可能になり、キャッシュヒット率も向上する。実測では、コード生成や長文推論ベンチマークにおいて、精度低下は1％未満に抑えられている。 KVキャッシュは、自然言語モデルがトークンを逐次生成する際、過去のトークンの情報を再計算せず、一度計算した情報を保持することで計算コストを削減する仕組みである。しかし、キャッシュのメモリ消費が大きくなるため、長文処理ではメモリが枯渇し、古い情報が削除される（エヴィクション）ことで再計算が必要になり、性能が低下する。NVFP4は、この問題を解決するため、キャッシュの精度を従来のFP8からさらに4ビットにまで削減。これにより、同じGPUメモリ（HBM）で2倍のコンテキストを保持でき、特に長文推論や複雑な推論タスクで顕著な効果を発揮する。 特に、プロファイリングフェーズ（プレフィル）では、キャッシュヒット率が向上することで、最初のトークンが出力されるまでの遅延（TTFT）が最大3倍改善。これは、ユーザー体験の向上に直結する。また、NVFP4はFP8よりも精度が高く、MXFP4よりも約5％高い性能を示しており、特に長文推論やコード生成において誤差の蓄積を抑制している。 この技術は、NVIDIAのTensorRT Model Optimizerと連携し、学習後の量子化（PTQ）や量子化意識学習（QAT）で簡単に適用可能。Hugging FaceやMegatronモデルにも対応しており、実際の開発環境に迅速に導入できる。今後は、NVLinkやWide Expert Parallelismといった他のハードウェア・ソフトウェア最適化技術と組み合わせることで、より大規模なMoEモデルやマルチエージェント推論の実現が期待される。 NVFP4は、AI推論の効率性とスケーラビリティを飛躍的に高める重要な一歩であり、長文処理や高負荷推論を必要とする実用シーンにおける実現可能性を大きく広げる。