الملخص

نُقدّم نموذج Lumina-DiMOO، وهو نموذج أساسي مفتوح المصدر يُعدّ لإنجاز التوليد والفهم متعدد الوسائط بسلاسة. يميّز Lumina-DiMOO نفسه عن النماذج الموحّدة السابقة من خلال استخدام نموذج تشتت كامل التجزئة (fully discrete diffusion modeling) لمعالجة المدخلات والنتائج عبر مختلف الوسائط. وتُعدّ هذه المقاربة المبتكرة مُمكّنةً لـLumina-DiMOO من تحقيق كفاءة أعلى في العينة مقارنةً بالمناهج السابقة القائمة على التوليد التسلسلي (autoregressive - AR) أو المزيج بين التوليد التسلسلي ونموذج التشتت (hybrid AR-Diffusion)، كما تُمكّنه من دعم مهام متعددة الوسائط واسعة النطاق، بما في ذلك توليد الصور من النص، وتوليد الصور من الصور (مثل تعديل الصور، والتوليد القائم على الموضوع، وتعبئة الصور)، فضلاً عن فهم الصور. وحقق Lumina-DiMOO أداءً متميزًا على عدة معايير، متفوقًا على النماذج الموحّدة متعددة الوسائط المفتوحة المصدر الحالية. ولتشجيع التقدّم المستقبلي في أبحاث الوسائط المتعددة ونماذج التشتت التجزئية، نُطلق كود النموذج ونُشَرّح نقاط التحقق (checkpoints) للمجتمع العلمي. صفحة المشروع: https://synbol.github.io/Lumina-DiMOO.