Command Palette
Search for a command to run...
توليد الحركة المفصلية المدعومة بالإطار العظمي
توليد الحركة المفصلية المدعومة بالإطار العظمي
Yan Yichao Xu Jingwei Ni Bingbing Yang Xiaokang
الملخص
تُمثّل هذه الدراسة أول محاولة لاستخلاص تسلسل حركة الإنسان المفصلي من صورة واحدة. من جهة، نستخدم مدخلات مزدوجة تتضمن معلومات الهيكل العظمي للإنسان كمُدمج للحركة، وصورة إنسان واحدة كمرجع للملمس، بهدف إنتاج إطارات حركة جديدة، بناءً على هيكلية الشبكة التوليدية الشرطية (Conditional GAN). ومن الجهة الأخرى، نُطبّق خسارة ثلاثية (triplet loss) لتحقيق تجانس ملمسي بين الإطارات المتتالية. وبما أن الإطار المُقترح قادر على استغلال الفضاءات المرئية للصورة والفضاءات الحركية المفصّلة/الديناميكية في آنٍ واحد، فإنه يُنتج تسلسلات حركة واقعية مفصّلة، على عكس معظم طرق توليد الفيديو السابقة التي تُنتج تأثيرات حركة ضبابية. وقد اختبرنا نموذجنا على مجموعتي بيانات للإجراءات البشرية، وهما KTH وHuman3.6M، وأظهر الإطار المُقترح نتائج واعدة للغاية في كلا المجموعتين.