منذ 11 أيام
الانتشار البذري: نموذج لغوي انتشاري كبير الحجم مع استدلال سريع للغاية
\Yuxuan Song\, \ Zheng Zhang\, \ Cheng Luo\, \ Pengyang Gao\, \ Fan Xia\, \ Hao Luo\, \ Zheng Li\, \ Yuehang Yang\, \ Hongli Yu\, \ Xingwei Qu\, \ Yuwei Fu\, \ Jing Su\, \ Ge Zhang\, \ Wenhao Huang\, \ Mingxuan Wang\, \ Lin Yan\, \ Xiaoying Jia\, \ Jingjing Liu\, \ Wei-Ying Ma\, \ Ya-Qin Zhang\, \ Yonghui Wu\, \ Hao Zhou\
الملخص
نقدم نموذج "سييد ديفوسيون بريفيو" (Seed Diffusion Preview)، وهو نموذج لغوي كبير يعتمد على التوزيع في الحالة المنفصلة، ويتميز بسرعة استجابة استخلاصية مذهلة. وبفضل التوليد غير التسلسلي والمتوازٍ، توفر نماذج التوزيع المنفصلة تحسينًا كبيرًا في السرعة، مما يقلل من التأخير المتأصّل في عملية الترميز البُنيوي للرموز (token-by-token)، كما أظهرت دراسات حديثة (مثل Mercury Coder و Gemini Diffusion). ويحقق نموذج "سييد ديفوسيون بريفيو" سرعة استخلاص تبلغ 2,146 رمزًا في الثانية على وحدات معالجة H20، مع الحفاظ على أداء تنافسي عبر مجموعة واسعة من معايير تقييم الشفرات القياسية، وبسرعة تفوق بكثير النماذج المعاصرة مثل Mercury و Gemini Diffusion، ما يُحدث حالة جديدة من التميز على منحنى باريتو المتعلق بالسرعة والجودة بالنسبة لنماذج الشفرات.