PC-HMR: معايرة الوضعية لاستعادة شبكة الإنسان ثلاثية الأبعاد من الصور/مقاطع الفيديو ثنائية الأبعاد

تم استخدام نهج استرداد الشبكة البشرية (HMR) من الطرف إلى الطرف بنجاح في إعادة بناء الجسم ثلاثي الأبعاد. ومع ذلك، فإن معظم الأطر القائمة على HMR تقوم بإعادة بناء جسم الإنسان من خلال تعلّم معلمات الشبكة مباشرةً من الصور أو مقاطع الفيديو، دون وجود توجيه صريح لوضعية الجسم ثلاثية الأبعاد في البيانات البصرية. نتيجة لذلك، غالبًا ما تُظهر الشبكة الناتجة وضعية خاطئة في الأنشطة المعقدة. ولحل هذه المشكلة، نقترح استغلال الوضعية ثلاثية الأبعاد لضبط الشبكة البشرية. بشكل خاص، نطور إطارين جديدين لضبط الوضعية، وهما: PC-HMR المتسلسل وPC-HMR المتوازي. من خلال دمج مُقدّرات الوضعية ثلاثية الأبعاد المتقدمة مع HMR بطريقة متسلسلة أو متوازية، يمكن للكليتين التصحيح الفعّال للشبكة البشرية بمساعدة وحدة ضبط الوضعية الموجزة. علاوةً على ذلك، وبما أن وحدة الضبط مصممة باستخدام تحويلات وضعية غير مرنة، فإن أطرنا PC-HMR قادرة على التعامل برشاقة مع التغيرات في طول العظام، مما يقلل من الأخطاء في وضعية الشبكة المُضبطّة. وأخيرًا، تعتمد أطرنا على تكامل عام ومتناقض للتعلم القائم على البيانات والنمذجة الهندسية. وبفضل وحدات قابلة للتركيب والتشغيل (plug-and-play)، يمكن تكييفها بكفاءة لاستخدامها في استرداد الشبكة البشرية القائمة على الصور أو مقاطع الفيديو. بالإضافة إلى ذلك، لا تتطلب أطرنا أي تسميات إضافية لوضعية ثلاثية الأبعاد أثناء مرحلة الاختبار، مما يُخفف من صعوبات الاستدلال في التطبيق العملي. أجرينا تجارب واسعة على معايير شهيرة مثل Human3.6M و3DPW وSURREAL، حيث حققت أطرنا PC-HMR نتائج متفوقة على الحد الأقصى (SOTA).