AdaFuse: تكامل متعدد المقاييس تكيفي لتقدير دقيق لوضع الإنسان في البيئة البرية

الإغلاق يُعدّ على الأرجح أكبر تحدٍّ في تقدير وضعية الإنسان في البيئات الطبيعية (in the wild). غالبًا ما تعتمد الحلول التقليدية على أجهزة استشعار غازية مثل وحدات القياس التلقائي (IMUs) للكشف عن المفاصل المُغطاة. ولجعل المهمة حقيقيةً دون قيود، نقدّم AdaFuse، وهي طريقة تكامل متعددة الزوايا مُتكيفة، والتي يمكنها تعزيز الميزات في الصور المغطاة من خلال الاستفادة من الميزات في الصور المرئية. وتمثّل النواة الأساسية لـ AdaFuse تحديد العلاقة بين النقاط المقابلة بين زاويتين، وهو ما نحلّه بكفاءة من خلال استكشاف الكثافة المنخفضة (الندرة) في تمثيل خريطة الحرارة (heatmap). كما نتعلم وزنًا تكامليًا متكيفًا لكل زاوية تصوير، ليعكس جودة الميزات في كل زاوية، بهدف تقليل احتمال تلف الميزات الجيدة نتيجة التأثير السلبي من "الزوايا السيئة". يتم تدريب نموذج التكامل بشكل كامل (end-to-end) مع شبكة تقدير الوضعية، ويمكن تطبيقه مباشرةً على تكوينات كاميرات جديدة دون الحاجة إلى تعديل إضافي. قمنا بتقييم المنهجية بشكل واسع على ثلاث مجموعات بيانات عامة، تشمل Human3.6M وTotal Capture وCMU Panoptic، وقد تفوقت على أحدث الطرق المطورة في جميعها. كما أنشأنا مجموعة بيانات اصطناعية كبيرة بعنوان Occlusion-Person، التي تسمح لنا بإجراء تقييم كمي للمفاصل المغطاة، نظرًا لأنها توفر تسميات إغلاق لكل مفصل في الصور. تم إصدار مجموعة البيانات والكود على الرابط التالي: https://github.com/zhezh/adafuse-3d-human-pose.