Itai Gat Heli Ben-Hamu Marton Havasi Daniel Haziza Jeremy Reizenstein Gabriel Synnaeve David Lopez-Paz Brian Karrer Yaron Lipman

الملخص

تقدم نماذج لغة التنبؤ بالرمز التالي القائم على النمذجة التلقائية (Autoregressive) قدرات قوية، لكنها تواجه تحديات كبيرة في التطبيق العملي نظرًا للتكاليف الحسابية والذاكرة العالية الناتجة عن عملية الاستنتاج، خاصة أثناء مرحلة التفكيك (decoding). نقدّم طريقة "تفكيك الكتلة المحددة" (Set Block Decoding - SBD)، وهي نموذج بسيط ومرن يُسرّع عملية التوليد من خلال دمج التنبؤ القياسي بالرمز التالي (Next Token Prediction - NTP) والتنبؤ بالرمز المُغطى (Masked Autoregressive Token Prediction - MATP) داخل هيكل معماري واحد. تتيح SBD للنموذج عينة عدة رموز مستقبلية في آن واحد، وليس بالضرورة متتالية، وهو ما يُميّزها عن الطرق السابقة للتسريع. وتتيح هذه المرونة استخدام حلّال متقدمة مستمدة من أدبيات التمايز المتقطع (discrete diffusion)، مما يُحقق تسريعًا كبيرًا دون التضحية بالدقة. ولا تتطلب SBD أي تغييرات في البنية المعمارية أو معلمات تدريب إضافية، وتحتفظ بالتوافق مع تقنية التخزين الدقيق لذاكرة القيم (KV-caching)، ويمكن تنفيذها عبر تدريب دقيق (fine-tuning) لنماذج التنبؤ بالرمز التالي الحالية. وباستخدام تدريب دقيق لنموذج Llama-3.1 8B ونموذج Qwen-3 8B، نُظهر أن SBD تُقلّل من عدد التمريرات الأمامية (forward passes) المطلوبة للتوليد بنسبة 3 إلى 5 أضعاف، مع الحفاظ على الأداء نفسه مقارنةً بالتدريب التقليدي بنموذج NTP.