DensePose: تقدير الوضع البشري الكثيف في البيئة المفتوحة

في هذا العمل، نقوم بإنشاء مطابقات كثيفة بين صورة RGB وتمثيل قائم على السطح للجسم البشري، وهي المهمة التي نشير إليها باسم تقدير الوضع البشري الكثيف (Dense Human Pose Estimation). أولاً، نجمع مطابقات كثيفة لـ 50 ألف شخص يظهرون في مجموعة بيانات COCO من خلال تقديم خط أنابيب تسمية فعّال. ثم نستخدم مجموعة البيانات الخاصة بنا لتدريب أنظمة قائمة على الشبكات العصبية التلافيفية (CNN) والتي توفر مطابقات كثيفة "في البرية" (in the wild)، أي في وجود الخلفية والتشويش والتغيرات في الحجم. نحسن فعالية مجموعة التدريب الخاصة بنا من خلال تدريب شبكة "إعادة الرسم" (inpainting) يمكنها ملء القيم الناقصة للمعلومات الأرضية ونبلغ عن تحسينات واضحة مقارنة بأفضل النتائج التي كانت قابلة للتحقيق في الماضي. نجري تجارب باستخدام الشبكات التلافيفية الكاملة والنموذج القائم على المناطق ونلاحظ تفوق الأخير؛ نحسن الدقة بشكل إضافي من خلال التسلسل المتدرج، مما يتيح الحصول على نظام يوفر نتائج دقيقة للغاية في الوقت الفعلي. يتم توفير المواد الإضافية والفيديوهات على صفحة المشروع http://densepose.org