HybrIK-X: الحركات العكسية الهجينة التحليلية-العصبية لاستعادة الشبكة الكاملة للجسم

استعادة شبكة الجسم بأكمله من خلال استنتاج معلمات الوضع والشكل المجردين من المحتوى البصري يمكن أن تحقق أجسادًا ثلاثية الأبعاد ذات هياكل واقعية. ومع ذلك، فإن عملية الاستنتاج شديدة اللاخطية وتتعرض لخلل التوافق بين الصورة والشبكة، مما يؤدي إلى إعادة بناء غير دقيقة. على العكس من ذلك، تستخدم طرق تقدير النقاط الرئيسية ثلاثية الأبعاد التمثيل الحجمي لتحقيق دقة على مستوى البكسل ولكن قد تتوقع هياكل جسم غير واقعية. لمعالجة هذه القضايا، يقدم هذا البحث حلًّا عكسيًا حركيًا مختلطًا جديدًا يُعرف بـ HybrIK، والذي يدمج مزايا تقدير النقاط الرئيسية ثلاثية الأبعاد واستعادة شبكة الجسم في إطار موحد. يقوم HybrIK بتحويل المفاصل ثلاثية الأبعاد الدقيقة مباشرة إلى دورات أجزاء الجسم عبر تحليل الانحناء والتواء (twist-and-swing decomposition). يتم حل دورات الانحناء بشكل تحليلي باستخدام المفاصل ثلاثية الأبعاد، بينما يتم اشتقاق دورات التواء من الإشارات البصرية عبر الشبكات العصبية. للحصول على تفاصيل شاملة للجسم بأكمله، قمنا أيضًا بتطوير إطار شامل يُعرف بـ HybrIK-X، والذي يعزز HybrIK بإضافة اليدين المرتبطة والوجه التعبيري. يتميز HybrIK-X بالسرعة والدقة من خلال حل وضع الجسم بأكمله باستخدام نموذج ذو مرحلة واحدة. أظهرت التجارب أن HybrIK وHybrIK-X يحافظان على دقة المفاصل ثلاثية الأبعاد وهيكل النموذج البشري المعلمي الواقعية، مما يؤدي إلى استعادة شبكة الجسم بأكمله المتوافقة مع البكسل. يتفوق الطريقة المقترحة بشكل كبير على أفضل الطرق الحالية في مختلف مقاييس الأداء للسيناريوهات التي تتعلق بالجسم فقط، واليد فقط، والجسم بأكمله. يمكن العثور على الكود والنتائج في https://jeffli.site/HybrIK-X/