توليد الحركة المفصلية بمساعدة الهيكل العظمي

يُعد هذا العمل أول محاولة لتقديم سلسلة حركية مفصلة للإنسان من صورة واحدة. من ناحية، نستفيد من المدخلات المزدوجة التي تشمل معلومات الهيكل العظمي للإنسان كتمثيل للحركة وصورة إنسان واحدة كمرجع للمظهر، لإنشاء إطار حركي جديد بناءً على البنية الأساسية لـ GAN المشروطة (Conditional GAN). ومن ناحية أخرى، يتم استخدام خسارة الثلاثي (triplet loss) لتحقيق الانسيابية في المظهر بين الإطارات المتتالية. حيث أن الإطار المقترح قادر على استغلال المساحة البصرية للصورة والمساحة الحركية المفصلة/الكينماتيكية بشكل مشترك، فإنه يولد سلسلة حركية واقعية ومفصلة، بخلاف معظم طرق توليد الفيديو السابقة التي تنتج آثار حركة ضبابية. قمنا باختبار نموذجنا على قاعدتي بيانات الحركة البشرية KTH و Human3.6M، وأنتج الإطار المقترح نتائجًا واعدة جدًا في كلتا القاعدتين.