KV キャッシュの正式名は Key-value Cache で、大規模なモデルの推論パフォーマンスを最適化するための一般的なテクノロジです。このテクノロジは、計算精度に影響を与えることなく、空間を時間に交換するというアイデアによって推論パフォーマンスを向上させることができます。 KV キャッシュは、Transformer の推論パフォーマンスを最適化するための重要なエンジニアリング テクノロジです。すべての主要な推論フレームワークが実装およびカプセル化されており (たとえば、トランスフォーマー ライブラリの生成関数がカプセル化しているため、ユーザーが past_key_values を手動で渡す必要がありません)、デフォルトで有効になっています (config.json ファイルで use_cache=True)。 ）。

参考文献

【1】https://zhuanlan.zhihu.com/p/630832593