Ziqi Huang Ning Yu Gordon Chen Haonan Qiu Paul Debevec Ziwei Liu

الملخص

تمكّن نماذج إنشاء الفيديو الحديثة من إنتاج لقطات سينمائية سلسة وجميلة بصريًا، لكنها غالبًا ما تواجه صعوبات في توليد الديناميكيات المعقدة مع سلسلة من النتائج المترابطة منطقيًا. ما زال نمذجة النتائج البصرية وانتقالات الحالة عبر الزمن تحديًا أساسيًا. على النقيض من ذلك، تُظهر النماذج الكبيرة للغة والمتعددة الوسائط (مثل GPT-4o) قدرات قوية في التفكير البصري وتوقع المستقبل. لسد الفجوة بين هذه القُدرات، نقدّم VChain، وهي إطار عمل جديد لسلسلة التفكير البصري أثناء الاستدلال (inference-time chain-of-visual-thought)، يُضخّ فيها إشارات التفكير البصري من النماذج المتعددة الوسائط إلى عملية إنشاء الفيديو. بشكل خاص، يحتوي VChain على مسار مخصص يستخدم النماذج الكبيرة المتعددة الوسائط لإنشاء مجموعة نادرة من الإطارات الحرجة (keyframes) الحاسمة كصور مجمّعة، والتي تُستخدم بعدها لتوجيه عملية التكييف النادرة أثناء الاستدلال لنموذج فيديو مُدرّب مسبقًا، وذلك فقط في تلك اللحظات الحرجة. يتميّز نهجنا بكفاءة التكييف، ويُضيف حملًا زائدًا ضئيلًا، ويتجنب الإشراف الكثيف. وقد أظهرت تجارب واسعة النطاق في سيناريوهات معقدة متعددة الخطوات أن VChain يُحسّن بشكل ملحوظ جودة الفيديوهات المُنتجة.