اجعل البكسلات ترقص: إنشاء فيديو عالي الديناميكية

إن إنشاء مقاطع فيديو عالية الديناميكية، مثل الحركات الغنية بالحركة والتأثيرات البصرية المعقدة، يشكل تحديًا كبيرًا في مجال الذكاء الاصطناعي. للأسف، تميل الطرق الحالية الأفضل في مجال إنشاء الفيديو، والتي تركز بشكل رئيسي على تحويل النص إلى فيديو، إلى إنتاج مقاطع فيديو تتميز بحركات محدودة رغم الحفاظ على دقة عالية. نحن نجادل بأن الاعتماد فقط على التعليمات النصية يكون غير كافٍ وغير مثالي لإنشاء الفيديو. في هذه الورقة، نقدم PixelDance، منهجية جديدة تعتمد على نماذج التشتت (diffusion models) وتحدد تعليمات صورية لكل من الإطار الأول والأخير، إلى جانب التعليمات النصية، لتحسين عملية إنشاء الفيديو. تُظهر النتائج التجريبية الشاملة أن PixelDance، عند تدريبها باستخدام بيانات عامة، تُظهر كفاءة متميزة في توليد مقاطع فيديو تحتوي على مشاهد معقدة وحركات دقيقة، مما يُحدث معيارًا جديدًا في مجال إنشاء الفيديو.