HyperAIHyperAI
منذ 16 أيام

جانوس فلو: مواءمة التوليد التسلسلي والتدفق المصحح للفهم والإنتاج الموحَّد متعدد الوسائط

Yiyang Ma, Xingchao Liu, Xiaokang Chen, Wen Liu, Chengyue Wu, Zhiyu Wu, Zizheng Pan, Zhenda Xie, Haowei Zhang, Xingkai yu, Liang Zhao, Yisong Wang, Jiaying Liu, Chong Ruan
جانوس فلو: مواءمة التوليد التسلسلي والتدفق المصحح للفهم والإنتاج الموحَّد متعدد الوسائط
الملخص

نقدّم "جانوس فلو" (JanusFlow)، وهي إطار عمل قوي يوحّد فهم الصور وإنشاءها في نموذج واحد. يقدّم جانوس فلو معمارية مبسطة تدمج نماذج اللغات التكرارية (autoregressive language models) مع "التدفق المصحّح" (rectified flow)، وهي إحدى أحدث الطرق في نمذجة الإنشاء. ويُظهر اكتشافنا الرئيسي أن التدفق المصحّح يمكن تدريبه بسهولة ضمن إطار نماذج اللغات الكبيرة، مما يُلغِي الحاجة إلى تعديلات معمارية معقدة. ولتحسين أداء نموذجنا الموحّد بشكل أكبر، نعتمد استراتيجيتين رئيسيتين: (أ) فصل مشغّلات فهم الصور وإنشائها، و(ب) محاذاة تمثيلاتها أثناء التدريب الموحّد. تُظهر التجارب الواسعة أن جانوس فلو تحقق أداءً مماثلاً أو أفضل من النماذج المتخصصة في مجالاتها المحددة، وتفوق بشكل ملحوظ النماذج الموحّدة الحالية عبر معايير معيارية شائعة. تمثّل هذه الدراسة خطوة نحو نماذج رؤية-لغة أكثر كفاءة وتنوعاً.

جانوس فلو: مواءمة التوليد التسلسلي والتدفق المصحح للفهم والإنتاج الموحَّد متعدد الوسائط | أحدث الأوراق البحثية | HyperAI