تعلم تقدير الأجسام من الصور باستخدام التحويل الدلالي القابل للمفاضلة

تعلم تقدير شكل الجسم البشري ثلاثي الأبعاد ووضعه (مثل معلمات SMPL) من الصور الأحادية العدسة يعتمد عادةً على خسائر في النقاط الرئيسية ثنائية الأبعاد، والأشكال المحدبة، و/أو تقسيم الأجزاء عندما لا تكون البيانات التدريبية ثلاثية الأبعاد متاحة. ومع ذلك، فإن هذه الخسائر محدودة لأن النقاط الرئيسية ثنائية الأبعاد لا تشرف على شكل الجسم، وتقسيمات الأشخاص الملثمين لا تتطابق مع أشكال SMPL المحدبة المُسَلَّط عليها الضوء. لاستغلال معلومات الصورة الغنية عن الأشخاص الملثمين، نقدم معلومات دلالية عالية المستوى عن الملابس لمعاقبة المناطق الملثمة وغير الملثمة في الصورة بشكل مختلف. لتحقيق ذلك، نقوم بتدريب مُقدر الجسم باستخدام خسارة جديدة تسمى التحويل الدلالي القابل للمفاضلة - DSR. بالنسبة للمناطق المُلْثَمة قليلاً، نحدد خسارة DSR-MC التي تشجع على التطابق الوثيق بين جسم SMPL المرسوم والمناطق المُلْثَمة قليلاً في الصورة. أما بالنسبة للمناطق الملثمة بالكامل، فنحدد خسارة DSR-C لتشجيع جسم SMPL المرسوم على أن يكون داخل قناع الملابس. لضمان التدريب القابل للمفاضلة من البداية إلى النهاية، نتعلم أولوية دلالية للملابس لمواقع رؤوس SMPL من آلاف المسحات البشرية الملثمة. نقوم بأبحاث كمية وكيفية واسعة لتقييم دور الدلالات الملابس في دقة تقدير وضع الجسم البشري ثلاثي الأبعاد وشكله. نتفوق على جميع الطرق الرائدة السابقة في 3DPW و Human3.6M ونحصل على نتائج مماثلة في MPI-INF-3DHP. يمكن الحصول على الكود والنموذج المدرب للأبحاث من الرابط: https://dsr.is.tue.mpg.de/.