توحيد الناس: إغلاق الحلقة بين تمثيلات الإنسان ثلاثية الأبعاد وثنائية الأبعاد

توفّر النماذج ثلاثية الأبعاد أساسًا مشتركًا لتمثيلات مختلفة للجسم البشري. ومن ثم، أثبت التقدير ثنائي الأبعاد القوي أنه أداة قوية للحصول على مطابقات ثلاثية الأبعاد "في البرية". ومع ذلك، يعتمد الأمر على مستوى التفاصيل، فقد يكون من الصعب أو المستحيل الحصول على بيانات مصنفة لتدريب المقدّرات ثنائية الأبعاد على نطاق واسع. نقترح نهجًا هجينًا لهذه المشكلة: باستخدام إصدار موسّع من طريقة SMPLify التي تم تقديمها حديثًا، نحصل على مطابقات عالية الجودة لنماذج الجسم الثلاثية الأبعاد لمجموعات بيانات متعددة من وضعيات الإنسان. يقوم المشتغلون بالتصنيف البشري فقط بفرز المطابقات الجيدة والسيئة. يؤدي هذا الإجراء إلى إنشاء مجموعة بيانات أولية تُسمى UP-3D تحتوي على توضيحات غنية. من خلال سلسلة شاملة من التجارب، نظهر كيف يمكن استخدام هذه البيانات لتدريب نماذج تمييزية تنتج نتائج ذات مستوى تفصيلي غير مسبوق: تتوقع نماذجنا 31 قطعة و91 موقع علامات على الجسم. باستخدام مقدّر وضعيات العلامات 91، نقدم أفضل النتائج الحالية لتقدير وضعيات وأشكال الإنسان ثلاثية الأبعاد باستخدام كمية تدريبية أقل بمقدار عامل كبير ولا افتراضات حول الجنس أو الوضعية في عملية المطابقة. نوضح أن UP-3D يمكن تعزيزها بهذه المطابقات المحسنة لتنمو في الكمية والنوعية، مما يجعل النظام قابلًا للتطبيق على نطاق واسع. البيانات والكود والنماذج متاحة للأغراض البحثية.