KV Cache، وهو اختصار لـ Key-value Cache، هي تقنية مستخدمة بشكل شائع لتحسين أداء التفكير في النماذج الكبيرة. تستطيع هذه التقنية تحسين أداء التفكير المنطقي من خلال استبدال المكان بالوقت دون التأثير على دقة الحساب. **KV Cache هي تقنية هندسية مهمة لتحسين أداء التفكير في المحولات.**لقد قامت جميع أطر الاستدلال الرئيسية بتنفيذها وتغليفها (على سبيل المثال، قامت وظيفة التوليد الخاصة بمكتبة المحولات بتغليفها، ولا يحتاج المستخدمون إلى تمرير past_key_values يدويًا) وتم تمكينها بشكل افتراضي (use_cache=True في ملف config.json).

مراجع

【1】https://zhuanlan.zhihu.com/p/630832593