SparseMM، استراتيجية لتحسين ذاكرة التخزين المؤقت KV-Cache باستخدام ندرة الرأس المرئية

استراتيجية تحسين ذاكرة التخزين المؤقت KV-Cache باستخدام ندرة الرؤوس البصرية (الندرة الناشئة عن استجابات المفاهيم البصرية في نماذج اللغة متعددة اللغات، والمعروفة باسم SparseMM) هي استراتيجية لتحسين ذاكرة التخزين المؤقت للمفتاح والقيمة، اقترحها مختبر الرؤية الذكية بجامعة تسينغهوا ومجموعة Tencent Hunyuan X في 5 يونيو 2025. تُخصص هذه الاستراتيجية ميزانية حوسبة غير متكافئة لكل رأس انتباه في نموذج اللغة الكبيرة وفقًا للنتيجة البصرية. نتائج البحث ذات الصلة هي:SparseMM: يظهر تناثر الرأس من استجابات المفاهيم البصرية في MLLMs".

مقارنةً بالطرق السابقة، يُعطي SparseMM الأولوية للدلالات البصرية ويحافظ عليها أثناء فك التشفير. تُظهر التقييمات الشاملة على معايير الأداء متعددة الوسائط السائدة أن SparseMM يحقق توازنًا أفضل بين الدقة والكفاءة. في اختبار الكفاءة، حقق SparseMM تسريعًا فوريًا بمقدار 1.38x وتقليلًا لحجم الذاكرة بمقدار 52% مع الحفاظ على أداء مماثل.