HybrIK: حل هجين تحليلي-عصبوي لمسائل الحركية العكسية في تقدير الوضع والشكل البشري ثلاثي الأبعاد

تقوم طرق تقدير الوضع والشكل ثلاثي الأبعاد المستندة إلى النموذج بإعادة بناء شبكة ثلاثية الأبعاد كاملة للجسم البشري من خلال تقدير عدة معلمات. ومع ذلك، فإن تعلم المعلمات المجردة هو عملية شديدة اللاخطية وتتعرض لخلل التوافق بين الصورة والنماذج، مما يؤدي إلى أداء نموذجي متوسط. على الجانب الآخر، تقوم طرق تقدير النقاط الرئيسية ثلاثية الأبعاد بدمج الشبكات العصبية العميقة CNN مع التمثيل الحجمي لتحقيق دقة تحديد مستوى البكسل، ولكن قد تتوقع بنية جسم غير واقعية.في هذا البحث، نعالج المشكلات المذكورة أعلاه من خلال ردم الفجوة بين تقدير شبكات الجسم وتقدير النقاط الرئيسية ثلاثية الأبعاد. نقترح حلًا هجينًا جديدًا للحركة العكسية (HybrIK). يحول HybrIK مباشرة نقاط المفصل الدقيقة ثلاثية الأبعاد إلى دورات أجزاء الجسم النسبية لإعادة بناء الشبكة ثلاثية الأبعاد للجسم عبر تحليل التواء والتأرجح. يتم حل دوران التأرجح بطريقة تحليلية باستخدام نقاط المفصل الثلاثية الأبعاد، ويتم اشتقاق دوران التواء من الإشارات المرئية عبر الشبكة العصبية. نوضح أن HybrIK تحتفظ بدقة الوضع الثلاثي الأبعاد وببنية الجسم الواقعية للنموذج البشري المعلمي، مما يؤدي إلى شبكة جسم ثلاثية الأبعاد محاذاة للبكسل وأكثر دقة في الوضع الثلاثي الأبعاد من طرق تقدير النقاط الرئيسية الثلاثية الأبعاد الخالصة.بدون أي تعديلات إضافية، تتفوق الطريقة المقترحة بشكل كبير على أفضل الطرق الحالية في مختلف مقاييس الوضع والشكل الثلاثي البعد للإنسان. كمثال توضيحي، يتفوق HybrIK على جميع الطرق السابقة بمقدار 13.2 ملم في MPJPE و21.9 ملم في PVE على مجموعة بيانات 3DPW. يمكن الوصول إلى شفرتنا البرمجية من الرابط: https://github.com/Jeff-sjtu/HybrIK.