HyperAIHyperAI
منذ 2 أشهر

توليد الفيديو العميق، التنبؤ وإكمال تسلسلات حركات الإنسان

Cai, Haoye ; Bai, Chunyan ; Tai, Yu-Wing ; Tang, Chi-Keung
توليد الفيديو العميق، التنبؤ وإكمال تسلسلات حركات الإنسان
الملخص

النتائج الحالية للتعلم العميق في توليد الفيديو محدودة، بينما هناك فقط بعض النتائج الأولى في التنبؤ بالفيديو ولا توجد نتائج ذات صلة مهمة في استكمال الفيديو. هذا يرجع إلى الشدة التي تتسم بها مشكلات الإيجاد الخاطئ المتأصلة في هذه المشاكل الثلاثة. في هذا البحث، نركز على مقاطع الفيديو الخاصة بحركات الإنسان ونقترح إطارًا عميقًا عامًا ومكونًا من مرحلتين لتوليد مقاطع الفيديو الخاصة بحركات الإنسان دون قيود أو بعدد تعسفي من القيود، مما يعالج بشكل موحد هذه المشكلات الثلاثة: توليد الفيديو دون وجود أي إطارات مدخلات، التنبؤ بالفيديو مع وجود الإطارات الأولى القليلة، واستكمال الفيديو مع وجود الإطارات الأولى والأخيرة. لجعل المشكلة قابلة للحل، في المرحلة الأولى نقوم بتدريب نموذج توليدي عميق يولد سلسلة وضعيات بشرية من الضوضاء العشوائية. وفي المرحلة الثانية، يتم تدريب شبكة تحويل الهيكل العظمي إلى الصورة (skeleton-to-image network)، والتي تُستخدم لتوليد فيديو حركة الإنسان مع وجود السلسلة الكاملة للوضعيات البشرية التي تم إنتاجها في المرحلة الأولى. من خلال تقديم استراتيجية المرحلتين، نتجنب المشكلات الأصلية التي تكون غير محددة بشكل صحيح بينما ننتج لأول مرة نتائج عالية الجودة لتوليد/تنبؤ/استكمال الفيديوهات ذات المدة أطول بكثير. نقدم تقييمًا كميائيًا وكيفيًا لنوضح أن طريقتنا ثنائية المرحلتين تتفوق على أفضل الأساليب الحالية في توليد الفيديو والتنبؤ به واستكماله. يمكن مشاهدة عرض النتائج الخاصة بفيديوهاتنا على الرابط التالي:https://iamacewhite.github.io/supp/index.html

توليد الفيديو العميق، التنبؤ وإكمال تسلسلات حركات الإنسان | أحدث الأوراق البحثية | HyperAI