HyperAIHyperAI
منذ 2 أشهر

التقاط الحركة الكاملة للجسم من مركز الذات باستخدام FisheyeViT وتحسين الحركة القائم على الانتشار

Wang, Jian ; Cao, Zhe ; Luvizon, Diogo ; Liu, Lingjie ; Sarkar, Kripasindhu ; Tang, Danhang ; Beeler, Thabo ; Theobalt, Christian
التقاط الحركة الكاملة للجسم من مركز الذات باستخدام FisheyeViT وتحسين الحركة القائم على الانتشار
الملخص

في هذا البحث، نستكشف التقاط الحركة الشاملة للجسم من وجهة نظر الذات باستخدام كاميرا واحدة ذات زاوية عريضة (فيش آي)، والتي تقوم بتقدير حركة الجسم واليدين بشكل متزامن. تواجه هذه المهمة تحديات كبيرة بسبب ثلاثة عوامل: نقص البيانات عالية الجودة، تشوه صور الكاميرا ذات الزاوية العريضة (فيش آي)، وحجب أجزاء الجسم بعضها البعض. لمعالجة هذه التحديات، نقترح منهجًا جديدًا يستخدم FisheyeViT لاستخراج خصائص الصور ذات الزاوية العريضة (فيش آي)، والتي يتم تحويلها بعد ذلك إلى تمثيلات حرارية ثلاثية الأبعاد محاذاة للبكسلات لتقدير وضعية الجسم البشري ثلاثية الأبعاد. بالنسبة لتتبع اليدين، ندمج شبكات خاصة لكشف اليدين وتقدير وضعية اليد لحساب مواقف اليدين ثلاثية الأبعاد. في النهاية، نطور نموذجًا سابقًا للحركة الشاملة للجسم يعتمد على الانتشار لتحسين تقدير الحركة الشاملة للجسم مع مراعاة عدم اليقين في المفاصل. لتدريب هذه الشبكات، جمعنا قاعدة بيانات اصطناعية كبيرة تسمى EgoWholeBody، تتضمن 840,000 صورة عالية الجودة تم التقاطها من وجهة نظر الذات عبر مجموعة متنوعة من سلاسل حركات الجسم الشاملة. تظهر التقييمات الكمية والنوعية فعالية طرقنا في إنتاج تقديرات عالية الجودة للحركة الشاملة للجسم من كاميرا واحدة ذات وجهة نظر الذات.

التقاط الحركة الكاملة للجسم من مركز الذات باستخدام FisheyeViT وتحسين الحركة القائم على الانتشار | أحدث الأوراق البحثية | HyperAI