تعلم تقدير شبكة الإنسان ثلاثية الأبعاد المقاومة من المشاهد المزدحمة في البيئات الطبيعية

نُعَدّ مشكلة استرجاع شبكة إنسان ثلاثية الأبعاد (3D human mesh) لشخص واحد من مشاهد مزدحمة خارج البيئة المُصَمَّمة (in-the-wild crowded scenes) من المشكلات البارزة في مجال الرؤية الحاسوبية. وعلى الرغم من التقدم الكبير المحرز في تقدير الشبكة ثلاثية الأبعاد للإنسان، إلا أن الطرق الحالية تواجه صعوبات كبيرة عند معالجة إدخالات تجريبية تحتوي على مشاهد مزدحمة. السبب الأول لفشل هذه الطرق هو الفجوة بين مجالات البيانات المستخدمة في التدريب والاختبار. فمعظم مجموعات بيانات التقاط الحركة (motion capture datasets)، التي توفر علامات ثلاثية الأبعاد دقيقة للتدريب، تفتقر إلى بيانات المشاهد المزدحمة، مما يمنع الشبكة العصبية من تعلُّم ميزات صورة مقاومة للضوضاء في المشاهد المزدحمة بالنسبة للشخص المستهدف. أما السبب الثاني فهو عملية معالجة الميزات التي تقوم بتوحيد (متوسطة فراغية) خريطة الميزات الخاصة بمستطيل محدود يحتوي على عدة أشخاص. فعند توحيد كامل خريطة الميزات، تصبح ميزة الشخص المستهدف غير قابلة للتمييز عن ميزات الآخرين.نقدّم في هذا العمل نموذجًا يُسمّى 3DCrowdNet، الذي يُعدّ أول نموذج يُركّز صراحةً على المشاهد المزدحمة خارج البيئة المُصَمَّمة، ويُقدّم تقديرًا قويًا للشبكة ثلاثية الأبعاد للإنسان من خلال معالجة المشكلتين المذكورتين. أولاً، نستفيد من تقنية تنبؤ الوضعية ثنائية الأبعاد (2D human pose estimation) التي لا تتطلب بيانات تدريب مُصحَّحة بعلامات ثلاثية الأبعاد، وبالتالي لا تعاني من فجوة المجال. ثانيًا، نقترح مُعدِّلًا قائمة على المفاصل (joint-based regressor) يميّز ميزة الشخص المستهدف عن غيره من الأشخاص. يحافظ هذا المُعدِّل على التنشيط المكاني للشخص المستهدف من خلال أخذ عينات من الميزات من مواقع المفاصل الخاصة به، ثم يُقدّر معاملات النموذج البشري. وبذلك، يتعلّم 3DCrowdNet ميزات مركّزة على الشخص المستهدف، ويعمل على استبعاد الميزات غير المرتبطة بالأشخاص القريبين بشكل فعّال.أجرينا تجارب على عدة معايير معيارية (benchmarks)، وثبتت نتائجنا من حيث الكفاءة الكمية والكيفية قدرة 3DCrowdNet على التحمل في المشاهد المزدحمة خارج البيئة المُصَمَّمة. يمكن الاطلاع على الكود المصدر عبر الرابط التالي: https://github.com/hongsukchoi/3DCrowdNet_RELEASE.