VideoFusion: نماذج تشتت منفصلة لإنشاء مقاطع فيديو عالية الجودة

أظهر نموذج الاحتمالات التبادلية (DPM)، الذي يبني عملية تبادل أمامية من خلال إضافة ضوضاء تدريجية إلى نقاط البيانات ويتعلم عملية التصحيح العكسي لإنشاء عينات جديدة، قدرته على التعامل مع توزيعات البيانات المعقدة. وعلى الرغم من نجاحه الأخير في توليد الصور، يظل تطبيق نماذج DPM على إنشاء الفيديو تحديًا بسبب الفضاءات عالية الأبعاد للبيانات. وغالبًا ما تستخدم الطرق السابقة عملية تبادل قياسية، حيث يتم تدمير الإطارات داخل نفس المقطع الفيديو بضوضاء مستقلة، مما يتجاهل التكرار المحتوى والارتباط الزمني. تقدم هذه الدراسة عملية تبادل مُفككة من خلال تحليل الضوضاء الخاصة بكل إطار إلى ضوضاء أساسية مشتركة بين جميع الإطارات، وضوضاء متبقية تتغير وفق المحور الزمني. ويستخدم نموذج التصحيح شبكةً ثنائية مُدرّبة بشكل مشترك لتتماشى مع تحليل الضوضاء المذكور. وقد أكدت التجارب على مجموعات بيانات مختلفة أن نهجنا، المُسمى VideoFusion، يتفوق على البدائل القائمة على GAN والبدائل القائمة على التبادل في إنشاء فيديوهات عالية الجودة. كما نُظهر أن الصيغة المُفككة لدينا يمكن أن تستفيد من نماذج التبادل المُدرّبة مسبقًا على الصور، وتدعم بشكل جيد إنشاء فيديوهات مشروطة بالنص.