توليد لغة فائق السرعة عبر انحراف التمايز المتقطع التعليمي
Haoyang Zheng Xinyang Liu Cindy Xiangrui Kong Nan Jiang Zheyuan Hu Weijian Luo Wei Deng Guang Lin

الملخص
التحديث السريع وعالي الجودة للغة يُعدّ الحلم الأسمى الذي يسعى إليه البشر في عصر الذكاء الاصطناعي. في هذا العمل، نقدّم طريقةً تُسمّى "DiDi-Instruct" (التحفيز بالانفجار المنفصل)، وهي طريقة تعتمد على التدريب، تبدأ من نموذج لغوي منفصل مُدرّب مسبقًا (باستخدام التغطية) بنموذج التوزيع المنفصل (dLLM)، ثم تقوم بتنقيح نموذج طالب يعتمد على عدد قليل من الخطوات لتحقيق توليد سريع. يحقق النموذج الناتج DiDi-Instruct أداءً مماثلًا أو أفضل من نموذج المعلم dLLM والنموذج الأساسي GPT-2، مع تمكين تسريع يصل إلى 64 مرة. وتُعدّ الأساس النظري لـ DiDi-Instruct إطارًا جديدًا مبنيًا على تقليل انحراف كولبوج-ليبلر (KL-divergence) التكاملي، مما يُنتج خوارزمية تدريب عملية وفعّالة. كما نقدّم بشكل إضافي تقنيات تشمل "توحيد المكافأة المجمّعة"، و"مطابقة الحالة الوسطية"، و"مُولّد العينة الأجداد الموجه بالميزة"، والتي تُحسّن بشكل كبير استقرار التدريب، وتغطية النموذج، وجودة الاستنتاج. وعلى مجموعة بيانات OpenWebText، حقق DiDi-Instruct قيمة انحراف (perplexity) تتراوح بين 62.2 (باستخدام 8 خطوات عددية للوظائف العددية – NFEs) و18.4 (باستخدام 128 NFE)، متفوّقًا على النماذج السابقة من النماذج المنفصلة المُسرّعة والنموذج الأساسي GPT-2. وتتم هذه التحسينات مع فقدان ضئيل في الإنتروبيا (حوالي )، وتقليل زمن التدريب الإضافي على الحائط (wall-clock time) بمقدار أكثر من ما تُسجّلُه الطرق المُنافسة لتنقيح النماذج dLLM. ونُثبت بوضوح مرونة وفعالية DiDi-Instruct من خلال دراسات تحليلية موسّعة، وتمديد النموذج وفق الحجم، وتحقيق توليد تسلسلات بروتينية منفصلة. في الختام، تُعدّ DiDi-Instruct طريقة فعّالة وفعّالة من حيث الكفاءة، تُمكّن من توليد اللغة في لحظة.
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.