Pose2Mesh: شبكة ت.Convolutionية رسمية لاستعادة الوضعية ثلاثية الأبعاد والشبكة البشرية من وضعية ثنائية الأبعاد للإنسان

تُقدّم معظم الطرق الحديثة القائمة على التعلم العميق لتقدير وضعية الإنسان ثلاثية الأبعاد ونموذج الشبكة (mesh) معلمات الوضعية والشكل الخاصة بنماذج الشبكة البشرية، مثل SMPL وMANO، من صورة إدخال. إن الضعف الأول لهذه الطرق يكمن في مشكلة فجوة مجال المظهر، ناتجة عن الاختلاف في مظهر الصور بين بيانات التدريب المُجمَّعة في بيئات مُحكَمة، مثل المختبرات، وبيانات الاختبار المستمدة من بيئات واقعية (in-the-wild). والضعف الثاني هو صعوبة تقدير معلمات الوضعية بسبب مشكلات التمثيل المرتبطة بالدوران ثلاثي الأبعاد. ول superar هذه العيوب، نقترح نظامًا جديدًا يُسمى Pose2Mesh، وهو نظام يعتمد على شبكة عصبية متعددة الترابطات الرسومية (GraphCNN)، يقدّر إحداثيات الرؤوس الثلاثية الأبعاد لنموذج الشبكة البشرية مباشرةً من الوضعية ثنائية الأبعاد للإنسان. حيث توفر الوضعية ثنائية الأبعاد للإنسان معلومات حيوية حول تراكيب الجسم البشري، مع الحفاظ على خاصية هندسية متجانسة نسبيًا بين المجالين. كما يتجنب النظام المقترح مشكلات التمثيل، مع الاستفادة الكاملة من البنية الهيكلية للشبكة باستخدام GraphCNN بطريقة تدريجية من العام إلى الخاص. ونُظهر أن Pose2Mesh يتفوق على الطرق السابقة لتقدير الوضعية والشبكة ثلاثية الأبعاد على مجموعة متنوعة من مجموعات البيانات القياسية. لمزيد من التفاصيل حول الكود، يُرجى زيارة: https://github.com/hongsukchoi/Pose2Mesh_RELEASE.