الملخص

تُعد نماذج اللغة القائمة على الانتشار (Diffusion language models) واعدةً بتمكين السياق ثنائي الاتجاه وقدرات تعبئة الفجوات، وهي ميزات تفتقدها النماذج المتسلسلة (autoregressive coders)، ومع ذلك تظل الأنظمة العملية ثقيلة النسق. نقدّم "CoDA"، وهو نموذج انتشار بحجم 1.7 مليار معامل، تم تدريبه على وحدات TPU باستخدام مسار تدريب مفتوح المصدر بالكامل. يدمج CoDA بين التدريب المسبق على نطاق واسع باستخدام الانتشار، والتكييف المركّز حول الكود خلال عملية التدريب، والتكييف بالتعليمات، مما يتيح عينات مدعومة بالثقة، ويحافظ على زمن الاستجابة أثناء الاستدلال على مستوى تنافسي. وقد أظهرت النسخة CoDA-1.7B-Instruct أداءً مُنافسًا أو تفوقت على نماذج الانتشار ذات الحجم حتى 7 مليار معامل في مجموعات تقييم Humaneval وMBPP وEvalPlus. يشمل إصدارنا إتاحة نقاط التحقق (checkpoints) للنموذج، وأدوات التقييم، ومسارات تدريب على وحدات TPU، بهدف تسريع الأبحاث المتعلقة بمساعدات البرمجة القائمة على الانتشار وذات الحجم الخفيف.