HyperAIHyperAI
منذ 2 أشهر

إدراك وضعية الجسم البشري ثلاثية الأبعاد من مقاطع الفيديو الاستريو الذاتية المنظور

Akada, Hiroyasu ; Wang, Jian ; Golyanik, Vladislav ; Theobalt, Christian
إدراك وضعية الجسم البشري ثلاثية الأبعاد من مقاطع الفيديو الاستريو الذاتية المنظور
الملخص

بينما تصبح الأجهزة المرفوعة على الرأس أكثر صغرًا، فإنها توفر وجهات نظر مركزة حول الذات مع إخفاءات ذاتية كبيرة للمستخدم. لذلك، غالبًا ما تفشل الطرق الحالية في تقدير الأوضاع ثلاثية الأبعاد المعقدة من وجهات النظر المركزة حول الذات. في هذا العمل، نقترح إطارًا جديدًا يستند إلى الترانسفورمر لتحسين تقدير وضع الإنسان ثلاثي الأبعاد من الفيديوهات الاستريو المركزة حول الذات، والذي يستفيد من معلومات المشهد والسياق الزمني للفيديوهات الاستريو المركزة حول الذات. تحديدًا، نستفيد من 1) خصائص العمق من وحدة إعادة بناء المشهد ثلاثي الأبعاد الخاصة بنا باستخدام نوافذ تم اختيارها بطريقة متساوية من الإطارات الاستريو المركزة حول الذات، و2) استعلامات مفاصل الإنسان التي تم تعزيزها بالخصائص الزمنية لمدخلات الفيديو. يُمكن طريقتنا من تقدير أوضاع الإنسان بدقة حتى في السيناريوهات الصعبة مثل الانحناء والجلوس.بالإضافة إلى ذلك، نقدم قاعدتين جديدين للبيانات كمعيار مرجعي، وهما UnrealEgo2 وUnrealEgo-RW (RealWorld). تقدم القاعدتان المقترحتان عددًا أكبر بكثير من وجهات النظر الاستريو المركزة حول الذات ومجموعة أوسع من حركات الإنسان مقارنة بالقواعد الحالية، مما يسمح بتقييم شامل للطرق الحالية والقادمة. تظهر تجاربنا الواسعة أن النهج المقترح يتفوق بشكل كبير على الطرق السابقة. سنقوم بإصدار UnrealEgo2 وUnrealEgo-RW والنموذجtrained models على صفحة مشروعنا.