تنبؤ الهيكل للوضع البشري ثلاثي الأبعاد باستخدام الشبكات العصبية العميقة

الأساليب الحديثة لتقدير الوضع ثلاثي الأبعاد من صورة واحدة تعتمد بشكل كبير على التعلم العميق. إما أنها تدرب شبكة عصبية تقنية (Convolutional Neural Network) للتنبؤ مباشرة من الصورة إلى الوضع ثلاثي الأبعاد، مما يتجاهل العلاقات بين مفاصل الإنسان، أو أنها تُنمذج هذه العلاقات عبر إطار تعلم هيكلي بحد أقصى (max-margin structured learning framework)، والذي يتضمن تكلفة حسابية عالية عند وقت الاستدلال.في هذا البحث، نقدم معمارية تعلم عميق للتنبؤ الهيكلي بالوضع ثلاثي الأبعاد للإنسان من صور أحادية العين تعتمد على كودر ذاتي مكتمل الزائد (overcomplete auto-encoder) لتعلم تمثيل وضع خفائي ذي بعد عالٍ ومراعاة اعتمادات المفاصل. نثبت أن نهجنا يتفوق على الأساليب الرائدة في المجال من حيث الحفاظ على البنية ودقة التنبؤ.