KV Cache، وهو اختصار لـ Key-value Cache، هي تقنية مستخدمة بشكل شائع لتحسين أداء التفكير في النماذج الكبيرة. تستطيع هذه التقنية تحسين أداء التفكير المنطقي من خلال استبدال المكان بالوقت دون التأثير على دقة الحساب. KV Cache هي تقنية هندسية مهمة لتحسين أداء التفكير في المحولات.لقد قامت جميع أطر الاستدلال الرئيسية بتنفيذها وتغليفها (على سبيل المثال، قامت وظيفة التوليد الخاصة بمكتبة المحولات بتغليفها، ولا يحتاج المستخدمون إلى تمرير past_key_values يدويًا) وتم تمكينها بشكل افتراضي (use_cache=True في ملف config.json).

مراجع

【1】https://zhuanlan.zhihu.com/p/630832593