مُولِّد صور جيد هو ما تحتاجه لصنع فيديو عالي الدقة

تُعد توليد الصور والفيديوهات مجالات متقاربة تهدف إلى إنتاج محتوى من ضوضاء. وعلى الرغم من التقدم السريع المُحقَّق في تحسين نماذج توليد الصور لمعالجة دقة عالية، وعرض عالي الجودة، وتباين واسع في محتوى الصور، يظل تحقيق نتائج مماثلة في توليد الفيديوهات أمرًا صعبًا. نقدّم إطارًا يستخدم مولدات الصور الحديثة لتوليد مقاطع فيديو عالية الدقة. نُعدّ مشكلة توليد الفيديو على أنها اكتشاف مسار في الفضاء الخفي لمُولِّد صور مُدرّب مسبقًا وثابت. لا يُنتج هذا الإطار مقاطع فيديو عالية الدقة فحسب، بل يُعدّ أكثر كفاءة من حيث الحوسبة بمرتبة واحدة على الأقل. نُقدّم مُولِّد حركة يُكتشف من خلاله المسار المرغوب، حيث يتم فصل المحتوى عن الحركة. وباستخدام هذا التمثيل، يُمكّن إطارنا من تطبيقات واسعة النطاق، بما في ذلك تعديل المحتوى والحركة. علاوةً على ذلك، نُقدّم مهمة جديدة تُسمّى "توليد فيديو عبر المجالات" (cross-domain video synthesis)، حيث يتم تدريب مُولِّد الصور ومُولِّد الحركة على مجموعات بيانات منفصلة تنتمي إلى مجالات مختلفة. وهذا يمكّن من توليد كائنات متحركة لا تتوفر بيانات فيديو مرغوبة عنها. تُظهر التجارب الواسعة على مختلف مجموعات البيانات المزايا التي تتميّز بها طرقنا مقارنةً بتقنيات توليد الفيديو الحالية. سيتم إتاحة الشفرة المصدرية على الرابط: https://github.com/snap-research/MoCoGAN-HD.