Command Palette
Search for a command to run...
الإنشاء والتنبؤ وإكمال الفيديو العميق لسلسلة حركات الإنسان
الإنشاء والتنبؤ وإكمال الفيديو العميق لسلسلة حركات الإنسان
Cai Haoye Bai Chunyan Tai Yu-Wing Tang Chi-Keung
الملخص
إن النتائج الحالية في مجال التعلم العميق الخاصة بإنشاء مقاطع الفيديو محدودة، إذ لا تزال هناك عدد قليل من النتائج الأولية في مجال تنبؤ مقاطع الفيديو، ولا توجد نتائج ذات أهمية ملحوظة في مجال استكمال مقاطع الفيديو. ويعود ذلك إلى طبيعة المشكلات الثلاثة المذكورة إلى مشكلة غير محددة بشكل جيد (ill-posedness) بشكل شديد. في هذه الورقة البحثية، نركّز على مقاطع فيديو الحركات البشرية، ونُقدّم إطارًا عميقًا عامًا مكوّنًا من مرحلتين لإنشاء مقاطع فيديو لحركات بشرية دون قيود، أو بوجود عدد أيّ من القيود، بحيث يعالج هذه المشكلات الثلاثة بشكل موحد: إنشاء فيديو من دون إدخال أي إطارات، وتوقع فيديو من أول بضع إطارات، واستكمال فيديو من خلال الإطارات الأولى والأخيرة. ولجعل المشكلة قابلة للحل، نُدرّب في المرحلة الأولى نموذجًا توليديًا عميقًا يُولّد تسلسلًا لوضعية الإنسان من ضجيج عشوائي. وفي المرحلة الثانية، نُدرّب شبكة تحوّل من الهيكل العظمي إلى الصورة، والتي تُستخدم لإنشاء فيديو لحركة إنسان بناءً على التسلسل الكامل لوضعية الإنسان الذي تم إنشاؤه في المرحلة الأولى. وباعتماد الاستراتيجية المكوّنة من مرحلتين، نتجاوز المشكلات الأصلية غير المحددة بشكل جيد، مع إنتاج نتائج عالية الجودة لأول مرة في مجال إنشاء/تنبؤ/استكمال مقاطع الفيديو، وبمدة أطول بكثير. ونقدّم تقييمًا كميًا ونوعيًا يُظهر أن نهجنا المكوّن من مرحلتين يتفوّق على أفضل الطرق الحالية في مجال إنشاء الفيديو، والتنبؤ به، واستكماله. يمكن مشاهدة عرض النتائج الفيديوية من خلال الرابط التالي: https://iamacewhite.github.io/supp/index.html