أطلق باحثون مجموعة معيارية جديدة تسمى SPEED-Bench لتقييم تقنية فك التشفير التنبؤي (Speculative Decoding) المستخدمة لتسريع استنتاج نماذج اللغات الكبيرة. تهدف هذه التقنية إلى استخدام نموذج مبسط للتنبؤ بالتوكنات المستقبلية والتحقق منها بالتوازي من قبل النموذج الرئيسي، مما يعزز الكفاءة مع الحفاظ على دقة النتائج. ومع ذلك، كانت التقييمات السابقة مجزأة ولا تعكس ظروف العمل الحقيقية في الإنتاج. تعالج SPEED-Bench هذه الفجوات من خلال تقديم نظام تقييم موحد يجمع بين مجموعات بيانات متنوعة ومحركات استنتاج متطورة. يعتمد النظام على شقين رئيسيين: الشق النوعي لقياس جودة التنبؤ، والشق الخاص بالإنتاجية لتقييم السرعة في ظروف التشغيل المختلفة. يركز الشق النوعي على التنوع الدلالي في النصوص من خلال اختيار 880 عبارة تمثيلية من 18 مصدرًا عامًا، موزعة على 11 فئة تشمل البرمجة والرياضيات والمحادثة والترجمة. تم استخدام خوارزميات متقدمة لضمان تنوع كبير في هذه العينات وتقليل التكرار، مما يسمح بتحليل سلوك الخوارزميات في مجالات ذات تعقيد مختلف، مثل المجالات منخفضة التشويش (كالبرمجة) مقابل المجالات عالية التشويش (كالتخيل). أما شق الإنتاجية، فهو مصمم لمحاكاة أحمال العمل الحقيقية في بيئات الخوادم، مع أخذ حجم الدفعات (Batch Size) وطول متتاليات الإدخال في الاعتبار. يغطي هذا الشق أطوالًا تصل إلى 32 ألف توكن، ويدعم أحمالًا تصل إلى 512 طلبًا متزامنًا في كل مجموعة. وقد أثبتت الاختبارات أن استخدام توكنات عشوائية لتقييم الأداء، وهي ممارسة شائعة، يؤدي إلى مبالغة تقدر بنحو 23٪ في معدلات الإنتاجية، كما يفشل في محاكاة التوجيه الواقعي للخبراء في نماذج الذكاء الاصطناعي المختلطة. يشمل النظام إطار قياس موحد يعمل مع محركات استنتاج إنتاجية مثل TensorRT-LLM وvLLM وSGLang. يضمن هذا الإطار معاملة موحدة لتوكنات الإدخال عبر الأنظمة المختلفة، مما يزيل الاختلافات الناجمة عن عمليات المعالجة المسبقة ويسمح بمقارنة عادلة. كشفت النتائج الأولية أن دقة التنبؤ تختلف بشكل كبير حسب المجال الدلالي، حيث يحقق نماذج البرمجة والرياضيات معدلات قبول أعلى مقارنة بالمهام الإبداعية. كما أظهرت التجربة أن بعض التحسينات المتطرفة مثل تقليل مفردات النموذج قد تؤدي إلى تراجع الأداء في المجالات ذات الذيل الطويل مثل الترجمة المتعددة اللغات، وهو أمر لم تكن تكشفه المعايير القديمة. يُعد إطلاق SPEED-Bench خطوة مهمة نحو توحيد معايير تقييم تقنيات تسريع الذكاء الاصطناعي، حيث يتيح للباحثين والممارسين تحليل أداء نماذجهم بدقة أكبر في بيئات تشبه الإنتاج الفعلي. يتم نشر Dataset والإطار الحسابي بشكل مفتوح للتعاون والتطوير المستقبلي، مع التركيز على ضرورة تبني معايير تقييم أكثر واقعية لضمان كفاءة التقنيات عند نشرها على نطاق واسع.