HyperAIHyperAI

Command Palette

Search for a command to run...

ثنائية الانتشار

الملخص

تعد نماذج الانتشار المتقطع ذات الحالة المتجانسة واعدة بفضل قدرتها الذاتية على التصحيح، مما يتيح إمكانية توليد النصوص بسرعة كبيرة. ومع ذلك، فإنها غالبًا ما تتفوق عليها النماذج الذاتية الانحدار (autoregressive) والنماذج المتقطعة المقنعة (masked diffusion). في هذا البحث، نضيق الفجوة في الأداء من خلال الاستفادة من رؤية أساسية: أن عمليات الانتشار ذات الحالة المتجانسة تنبعث بشكل طبيعي من انتشار غاوس (Gaussian diffusion) أساسي. طريقتنا، التي أطلقنا عليها اسم Duo، تنقل تقنيات قوية من الانتشار الغاوس لتحسين التدريب والتجميع. أولاً، نقدم استراتيجية تعلم موجهة بالعملية الغاوسية، والتي تزيد سرعة التدريب بمقدار الضعف عن طريق تقليل التباين. النماذج التي تم تدريبها باستخدام التعلم الموجه بالمنهاج تتخطى النماذج الذاتية الانحدار في حيرة الزراعة العمياء (zero-shot perplexity) على ثلاثة من سبعة مقاييس. ثانيًا، نقدم تقنية التقطير المستقر المتقطع (Discrete Consistency Distillation)، وهي تعديل للتقدير المستقر من الإعداد المستمر إلى الإعداد المتقطع. هذه الخوارزمية تفتح الباب أمام توليد النصوص في خطوات قليلة في نماذج اللغة القائمة على الانتشار من خلال تسريع عملية التجميع بمقدار مرتبتين عدديتين. نوفر الرموز ومواقع نقاط التحقق من النموذج على صفحة المشروع: http://s-sahoo.github.io/duo


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
ثنائية الانتشار | مستندات | HyperAI