الزمن هو خاصية: استغلال الديناميكيات الزمنية في نماذج اللغة القائمة على الانتشار

تنشأ نماذج لغة كبيرة موزعة (dLLMs) النص من خلال عملية تكرارية لإزالة الضوضاء، لكن الاستراتيجيات الحالية لفك التشفير تتجاهل التنبؤات الوسيطة الغنية، مفضّلةً الناتج النهائي. تكشف دراستنا هنا ظاهرة حرجة تُعرف بـ"الاهتزاز الزمني"، حيث تظهر الإجابات الصحيحة غالبًا في المراحل الوسيطة، لكنها تُستبدَل لاحقًا في مراحل إزالة الضوضاء اللاحقة. ولحل هذه المشكلة، نقدّم طريقتين متكاملتين تستفيدان من الاستقرار الزمني: 1) التصويت بالاتساق الزمني الذاتي، وهي استراتيجية لفك التشفير أثناء الاختبار، لا تتطلب تدريبًا إضافيًا، وتعمل على تجميع التنبؤات عبر مراحل إزالة الضوضاء لاختيار الناتج الأكثر اتساقًا؛ و2) طريقة ما بعد التدريب تُسمّى تعزيز الاتساق الزمني، والتي تستخدم "الانتروبيا الزمنية للدلالات" (TSE) – وهي مقياس لثبات الدلالة عبر التنبؤات الوسيطة – كإشارات مكافأة لتحفيز إنتاج نصوص مستقرة. تُظهر النتائج التجريبية على عدة معايير فعالية نهجنا. وباستخدام مكافأة TSE السلبية وحدها، نلاحظ تحسنًا ملحوظًا بمتوسط قدره 24.7% على مجموعة بيانات Countdown مقارنة بنموذج dLLM موجود. وبالجمع بين مكافأة الدقة ومكافأة TSE، نحقق مكاسب مطلقة قدرها 2.0% على GSM8K، و4.3% على MATH500، و6.6% على SVAMP، و25.3% على Countdown، على التوالي. تُبرز نتائجنا الإمكانيات غير المستغلة للديناميات الزمنية في نماذج لغة كبيرة موزعة، وتوفر أداتين بسيطتين لكنهما فعّالتين لاستغلالها.