DenseRaC: التقدير المشترك للوضع والشكل الثلاثي الأبعاد من خلال التمثيل الكثيف والمقارنة

نقدّم نموذج DenseRaC، وهو إطار عمل جديد من نوع end-to-end لتقدير موضع الجسم ثلاثي الأبعاد وشكله بدقة من صورة RGB منظور واحد. يعتمد إطارنا ذو الخطوتين على خريطة التقابل بين البكسلات الجسمية والسطوح (أي خريطة IUV) كتمثيل وسيط، ثم يُجري تقدير الموضع والشكل البشري المعتمد على معلمات. وبشكل خاص، وباستخدام خريطة IUV المقدرة، نطوّر شبكة عصبية عميقة تُحسّن خسائر إعادة بناء الجسم ثلاثي الأبعاد، وتكمل ذلك بدمج نموذج "التصوير والمقارنة" لتقليل الفروقات بين الصورة المدخلة والصورة المُنتجة، أي: نقاط الركائز الثلاثية الأبعاد للجسم، وأقنعة أجزاء الجسم، والحقائق التفاعلية (adversarial priors). ولتعزيز عملية التعلّم، نبني بيئة بيانات اصطناعية ضخمة (MOCA) باستخدام تسلسلات موكاب (Mocap) تم جمعها من الإنترنت، ومسح ثلاثي الأبعاد، ورسوم متحركة. وتغطي البيانات المولّدة منظورات كاميرات متنوعة، وحركات بشرية مختلفة، وأشكالًا جسدية متنوعة، وتمّ تزويدها ببيانات حقيقية كاملة (ground truth). ويتعلّم نموذجنا بشكل مشترك تمثيل الجسم ثلاثي الأبعاد من مجموعات بيانات مختلطة، مما يخفّف من مشكلة بيانات التدريب غير المزروعة (unpaired). تُظهر تجاربنا أن DenseRaC يحقق أداءً متفوّقًا مقارنة بالأساليب الحالية على معايير عامة لمختلف المهام المتعلقة بالجسم البشري.