التعلم التبايني العابر للInstances لاستعادة هياكل الإنسان المُعَرَّضَة للإغلاق

يُقدَّم في هذه الورقة طريقة بسيطة وفعالة لاستعادة شبكة الإنسان ثلاثية الأبعاد المقاومة للإغلاق من صورة واحدة. وعلى الرغم من التحسينات البارزة التي أظهرتها العديد من الدراسات الحديثة في مجال استعادة شبكات الإنسان، إلا أن إنشاء شبكات دقيقة يظل صعبًا عند حدوث تداخل بين الأشخاص، نظرًا لغموض تحديد أي جزء من الجسم ينتمي إلى من. ولحل هذه المشكلة، نقترح خطة تعلم تباينية واعية بالهوية (instance-aware contrastive learning). وبشكل خاص، يتم تدريب الميزات المرتبطة بالعُقد (joints) التي تنتمي إلى الشخص المستهدف على أن تكون قريبة من الميزة المرجعية (أي الميزة المستخرجة من مركز الجسم). وفي المقابل، تُفرض ميزة المرجعية الخاصة بأشخاص مختلفين على أن تكون بعيدة عن بعضها البعض، بحيث يمكن التمييز بوضوح بين ميزات العقد الخاصة بكل شخص عن غيره. وباستخدام هذا النموذج التبايني لفهم تملك العقد، تتمكن الطريقة المقترحة من فهم بُعد احتلال الأجزاء الجسدية لكل شخص في الصورة المعطاة، وبالتالي يمكنها استعادة شبكات إنسان موثوقة حتى في الحالات التي يكون فيها التداخل بين عدة أشخاص شديدًا. وأظهرت النتائج التجريبية على مجموعات بيانات معيارية فعالية الطريقة المقترحة مقارنة بالطرق السابقة في ظل حالات التداخل بين الأشخاص. ويتوفر الكود والنموذج بشكل عام على الرابط التالي: https://github.com/DCVL-3D/InstanceHMR_release.