HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 13 أيام

TiDAR: تفكير في التباعد، كلام في الانحدار التلقائي

Jingyu Liu Xin Dong Zhifan Ye Rishabh Mehta Yonggan Fu Vartika Singh Jan Kautz Ce Zhang Pavlo Molchanov

TiDAR: تفكير في التباعد، كلام في الانحدار التلقائي

الملخص

تحظى نماذج اللغة القائمة على الانتشار (Diffusion language models) بقدرة واعدة على إنتاج النصوص بسرعة وبشكل متوازٍ، في حين تتفوق النماذج التوليدية التسلسلية (AR) عادةً من حيث الجودة بفضل هيكلها السببي الذي يتماشى بشكل طبيعي مع مهام نمذجة اللغة. هذا يطرح سؤالاً جوهريًا: هل يمكننا تحقيق تكامل فعّال يجمع بين سرعة عالية في التوليد، واستغلال أفضل لموارد وحدة معالجة الرسومات (GPU)، ومستوى جودة يوازي نماذج AR؟ تفشل الطرق الحالية في تحقيق توازن فعّال بين هذين الجانبين، إما من خلال الاعتماد على نماذج أضعف لعملية التصحيح التسلسلي (Speculative Decoding) لتمكين نماذج AR، ما يؤدي إلى كفاءة منخفضة في التصحيح، أو من خلال تطبيق منطق توليد يسير من اليسار إلى اليمين (مشابه لـ AR) في نماذج الانتشار، ما يُسبّب تدهوراً في الجودة ويفقد القدرة على التوازي المُتوقعة. نُقدّم TiDAR، وهي معمارية هجينة على مستوى التسلسل (sequence-level hybrid architecture)، تُصوّر الرموز (Thinking) باستخدام نموذج الانتشار، ثم تُولّد النتائج النهائية (Talking) بشكل تسلسلي (AutoRegressively) – كل ذلك في عملية تمرير واحدة (forward pass) باستخدام أقنعة انتباه مُصممة خصيصًا (structured attention masks). يُستغل من خلال هذا التصميم كثافة حسابية غير مستخدمة في وحدات معالجة الرسومات (GPU)، مما يحقق توازناً قوياً بين قدرة التصحيح (drafting) وقُدرة التحقق (verification). علاوةً على ذلك، صُمّمت TiDAR لتكون ملائمة لبيئات التشغيل (serving-friendly) بتكاليف تشغيل منخفضة، كنموذج مستقل. أجرينا تقييمًا شاملاً لـ TiDAR مقابل النماذج التسلسلية (AR)، وطرق التصحيح التخميني (speculative decoding)، ونسخ مختلفة من نماذج الانتشار، في مهام توليد النصوص ومهام تقدير الاحتمال (likelihood tasks)، على مقياسين 1.5B و8B. وبفضل عملية التصحيح والتوليد المتوازيين، بالإضافة إلى دعم ذاكرة التخزين المؤقت (KV cache) الدقيق، تفوقت TiDAR في سرعة التوليد (throughput) مقارنةً بطرق التصحيح التخميني، وتفوّقت على نماذج الانتشار مثل Dream وLlada من حيث الكفاءة والجودة معًا. وبشكل استثنائي، تمثل TiDAR أول معمارية تُغلق فجوة الجودة أمام النماذج التسلسلية (AR)، مع تحقيق سرعة توليد تصل إلى 4.71 إلى 5.91 مرة أكثر من النماذج الأخرى.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
TiDAR: تفكير في التباعد، كلام في الانحدار التلقائي | الأوراق البحثية | HyperAI