ثنائية الانتشار

تعد نماذج الانتشار المتقطع ذات الحالة المتجانسة واعدة بفضل قدرتها الذاتية على التصحيح، مما يتيح إمكانية توليد النصوص بسرعة كبيرة. ومع ذلك، فإنها غالبًا ما تتفوق عليها النماذج الذاتية الانحدار (autoregressive) والنماذج المتقطعة المقنعة (masked diffusion). في هذا البحث، نضيق الفجوة في الأداء من خلال الاستفادة من رؤية أساسية: أن عمليات الانتشار ذات الحالة المتجانسة تنبعث بشكل طبيعي من انتشار غاوس (Gaussian diffusion) أساسي. طريقتنا، التي أطلقنا عليها اسم Duo، تنقل تقنيات قوية من الانتشار الغاوس لتحسين التدريب والتجميع. أولاً، نقدم استراتيجية تعلم موجهة بالعملية الغاوسية، والتي تزيد سرعة التدريب بمقدار الضعف عن طريق تقليل التباين. النماذج التي تم تدريبها باستخدام التعلم الموجه بالمنهاج تتخطى النماذج الذاتية الانحدار في حيرة الزراعة العمياء (zero-shot perplexity) على ثلاثة من سبعة مقاييس. ثانيًا، نقدم تقنية التقطير المستقر المتقطع (Discrete Consistency Distillation)، وهي تعديل للتقدير المستقر من الإعداد المستمر إلى الإعداد المتقطع. هذه الخوارزمية تفتح الباب أمام توليد النصوص في خطوات قليلة في نماذج اللغة القائمة على الانتشار من خلال تسريع عملية التجميع بمقدار مرتبتين عدديتين. نوفر الرموز ومواقع نقاط التحقق من النموذج على صفحة المشروع: http://s-sahoo.github.io/duo