التنبؤ الدقيق بشكل الجسم ثلاثي الأبعاد باستخدام الخصائص القياسية والدلالية

بينما تقدمت الطرق التي تستعيد الشبكات البشرية ثلاثية الأبعاد من الصور بسرعة، فإن الأشكال الجسمانية المقدرة غالباً لا تلتقط الشكل البشري الحقيقي. وهذا أمر مُشكل لأن، بالنسبة للكثير من التطبيقات، الدقة في الشكل الجسماني هي بنفس أهمية وضع الجسم. السبب الرئيسي وراء تأخر دقة الشكل الجسماني مقارنة بدقة الوضع هو نقص البيانات. بينما يمكن للبشر تسمية المفاصل ثنائية الأبعاد، وهذه تقيّد الوضع ثلاثي الأبعاد، فإن تسمية الشكل الجسماني ثلاثي الأبعاد ليست بالأمر السهل. نظراً لندرة البيانات المتزامنة مع الصور والأشكال الجسمانية ثلاثية الأبعاد، نستغل مصدرَين للمعلومات: (1) نجمع صور الإنترنت لموديلات "متنوعة" في مجال الموضة مع مجموعة صغيرة من القياسات الأنثروبومترية؛ (2) نجمع الصفات اللغوية للشكل لعدد واسع من الشبكات الجسمانية ثلاثية الأبعاد وصور الموديلات. مجتمعةً، توفر هذه القواعد بيانات قيودًا كافيةً لاستنتاج الشكل الكثيف ثلاثي الأبعاد. نستغل القياسات الأنثروبومترية والصفات اللغوية للشكل بعدة طرق جديدة لتدريب شبكة عصبية تُدعى SHAPY (شايبي)، والتي تستعيد الوضع والشكل الثلاثي الأبعاد للإنسان من صورة RGB. نقيم SHAPY على مقاييس عامة، ولكننا نلاحظ أن هذه المقاييس إما تنقصها التغيرات الهامة في الشكل الجسماني أو النموذج الحقيقي للشكل أو التغيرات في الملابس. لذلك، جمعنا قاعدة بيانات جديدة لتقييم تقدير الشكل البشري ثلاثي الأبعاد تُدعى HBW (هيبو)، تحتوي على صور "أجسام بشرية في الطبيعة" والتي لدينا لها مسحات حقيقية ثلاثية الأبعاد. وفي هذا المعيار الجديد، أظهرت SHAPY أداءً أفضل بكثير من أفضل الأساليب الحالية في مهمة تقدير الشكل الجسماني الثلاثي الأبعاد. هذه هي أول مرة يتم فيها إظهار أن استعادة الشكل البشري الثلاثي الأبعاد من الصور يمكن تدريبها باستخدام القياسات الأنثروبومترية السهل الحصول عليها والصفات اللغوية للشكل. يمكن الوصول إلى نموذجنا ومجموعتنا من البيانات عبر الرابط:shapy.is.tue.mpg.de