SparseMM، استراتيجية لتحسين ذاكرة التخزين المؤقت KV-Cache باستخدام ندرة الرأس المرئية
Date
استراتيجية تحسين ذاكرة التخزين المؤقت KV-Cache باستخدام ندرة الرؤوس البصرية (الندرة الناشئة عن استجابات المفاهيم البصرية في نماذج اللغة متعددة اللغات، والمعروفة باسم SparseMM) هي استراتيجية لتحسين ذاكرة التخزين المؤقت للمفتاح والقيمة، اقترحها مختبر الرؤية الذكية بجامعة تسينغهوا ومجموعة Tencent Hunyuan X في 5 يونيو 2025. تُخصص هذه الاستراتيجية ميزانية حوسبة غير متكافئة لكل رأس انتباه في نموذج اللغة الكبيرة وفقًا للنتيجة البصرية. نتائج البحث ذات الصلة هي:SparseMM: يظهر تناثر الرأس من استجابات المفاهيم البصرية في MLLMs".
مقارنةً بالطرق السابقة، يُعطي SparseMM الأولوية للدلالات البصرية ويحافظ عليها أثناء فك التشفير. تُظهر التقييمات الشاملة على معايير الأداء متعددة الوسائط السائدة أن SparseMM يحقق توازنًا أفضل بين الدقة والكفاءة. في اختبار الكفاءة، حقق SparseMM تسريعًا فوريًا بمقدار 1.38x وتقليلًا لحجم الذاكرة بمقدار 52% مع الحفاظ على أداء مماثل.
Build AI with AI
From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.