استخراج شبكة الإنسان ثلاثية الأبعاد من العلامات الافتراضية

مستوحاة من النجاح المحقق في تقدير الوضع الثلاثي الأبعاد للحجم، اقترح بعض المُقدّرات الحديثة للشبكات البشرية تقدير الهيكل العظمي ثلاثي الأبعاد كتمثيل وسيط، ومنه يتم استخلاص الشبكات ثلاثية الأبعاد الكثيفة باستغلال هيكل الشبكة (mesh topology). ومع ذلك، يُفقد معلومات شكل الجسم أثناء استخراج الهيكل العظمي، مما يؤدي إلى أداء متوسط. وتُحل هذه المشكلة في الأنظمة المتقدمة لالتقاط الحركة من خلال وضع علامات فيزيائية كثيفة على سطح الجسم، ما يمكّن من استخلاص شبكات واقعية من حركاته غير الثابتة. لكن هذه الأنظمة لا يمكن تطبيقها على الصور الطبيعية (wild images) دون وجود هذه العلامات. في هذا العمل، نقدّم تمثيلاً وسيطاً جديداً يُسمّى "العلامات الافتراضية" (virtual markers)، والتي تتعلم 64 نقطة مميزة (landmark keypoints) على سطح الجسم استناداً إلى بيانات التقاط الحركة الواسعة النطاق (mocap) بطريقة توليدية (generative style)، مقلدةً تأثير العلامات الفيزيائية. وتُمكن العلامات الافتراضية من الكشف الدقيق عنها في الصور الطبيعية، وتمكّن من إعادة بناء شبكات كاملة ذات أشكال واقعية من خلال تداخل بسيط. يتفوّق نهجنا على أحدث الطرق على ثلاث مجموعات بيانات، وبشكل خاص يتفوّق بفارق ملحوظ على الطرق الحالية على مجموعة بيانات SURREAL التي تتميز بتنوع أشكال الأجسام. يمكن الوصول إلى الكود من خلال الرابط: https://github.com/ShirleyMaxx/VirtualMarker