Qinglin Zhu Yizhen Yao Runcong Zhao Yanzheng Xiang Amrutha Saseendran Chen Jin Philip Alexander Teare Bin Liang Yulan He Lin Gui

الملخص

تظل النماذج ذات التأثير الذاتي (AR) هي المعيار القياسي لإنشاء اللغة الطبيعية، لكنها ما زالت تعاني من تأخير عالٍ ناتج عن عملية التشفير التسلسلية الصارمة. ورغم أن النهج الحديث المستوحى من الانتشار، مثل نموذج LlaDA وDream، يقلل من هذه المشكلة من خلال إجراء التوليد بالتوازي، إلا أنهما يعانيان من قيود أساسية: فقدان المعلومات، حيث تُرفض التوزيعات التنبؤية للرموز غير المكتملة في كل خطوة، واتخاذ قرارات مبكرة، حيث تُتخذ قرارات محلية دون تنسيق كافٍ على المستوى العام. نحن نقدم تقنية تُدعى "الاستخلاص التصحيحي للحالة الخفية" (Latent Refinement Decoding - LRD)، وهي إطار ذو مرحلتين يعتمد على تحسين الحالة الخفية وحلقة تغذية راجعة تنبؤية. في المرحلة الأولى، تُحتفظ بالمواقع المُقنَّعة كمزيج توزيعي من الرموز المتنبأ بها وتمثيل المُقنَّع، مما يمكّن النموذج من تشكيل معتقدات أكثر اتساقًا على المستوى العام. أما في المرحلة الثانية، فيتم تثبيت التوقيعات المؤكدة تدريجيًا مع الحفاظ على التوقيعات غير المؤكدة لغرض التغذية الراجعة المتكررة. وتوفر ديناميات التباعد الكولبوجي (KL-divergence) معيارًا منطقيًا وموثوقًا لتحديد التقارب والتوقف المبكر. أظهرت التجارب في مجالات البرمجة (HumanEval +6.3، MBPP +2.6) والتفكير المنطقي (GSM8K +2.9، MATH500 +3.8) أن LRD تحسن الدقة مع تحقيق تسريعات تصل إلى 10.6 مرة، مما يجعلها بديلًا قويًا ومرنًا للإدخال المتوازي للسلاسل.