HEMlets Pose: تعلّم ثلاثيات خريطة الحرارة المركزية حول الأجزاء لتقدير دقيق لوضع الإنسان ثلاثي الأبعاد

تقدير وضعية الإنسان ثلاثية الأبعاد من صورة واحدة يُعد مهمة صعبة. تسعى هذه الدراسة إلى معالجة عدم اليقين الناتج عن رفع المفاصل الثنائية الأبعاد المُكتشفة إلى الفضاء الثلاثي الأبعاد من خلال إدخال حالة وسيطة تُعرف بـ "ثلاثيات خريطة الحرارة المرتبطة بالقطع" (HEMlets)، والتي تقلل الفجوة بين الملاحظة الثنائية الأبعاد والتأويل الثلاثي الأبعاد. تستخدم HEMlets ثلاث خرائط حرارة للمفاصل لتمثيل معلومات العمق النسبي للمفاصل النهائية لكل جزء عظمي في الهيكل العظمي. في نهجنا، يتم أولاً تدريب شبكة تلافيفية (ConvNet) على توقع HEMlets من الصورة المدخلة، يليها تراجع خريطة حرارة للمفاصل ثلاثية الأبعاد. ونستفيد من عملية التكامل لاستخراج مواقع المفاصل من خرائط الحرارة الثلاثية، مما يضمن التعلم من الطرف إلى الطرف (end-to-end). وعلى الرغم من بساطة تصميم الشبكة، تُظهر المقارنات الكمية تحسنًا كبيرًا في الأداء مقارنة بالطريقة الأفضل من نوعها (بزيادة قدرها 20٪ على مجموعة بيانات Human3.6M). كما تدعم الطريقة المقترحة تدريبًا باستخدام صور من البيئة الحقيقية (in-the-wild)، حيث تكون معلومات العمق النسبي للمفاصل مُعلّمة بشكل ضعيف فقط. وهذا يعزز قدرة نموذجنا على التعميم، كما أثبتت المقارنات النوعية على الصور الخارجية.