تقدير وضع الإنسان ثلاثي الأبعاد باستخدام شبكات العصب الاصطناعية التلافيفية مع معلومات الوضع ثنائي الأبعاد

بينما تم تحقيق نجاح في تقدير وضع الإنسان ثنائي الأبعاد باستخدام الشبكات العصبية التلافيفية (CNNs)، فإن تقدير وضع الإنسان ثلاثي الأبعاد لم يتم دراسته بشكل كافٍ. في هذا البحث، نتناول مهمة تقدير وضع الإنسان ثلاثي الأبعاد من خلال التعلم من البداية إلى النهاية باستخدام الشبكات العصبية التلافيفية. يتم تعلم المواقع ثلاثية الأبعاد النسبية بين مفصل واحد والمفاصل الأخرى عبر الشبكات العصبية التلافيفية. الطريقة المقترحة تحسن أداء الشبكة العصبية التلافيفية بفكرتين جديدتين. أولاً، قمنا بإضافة معلومات عن وضع ثنائية الأبعاد لتقدير وضع ثلاثي الأبعاد من صورة، وذلك بدمج نتيجة تقدير الوضع ثنائية الأبعاد مع الخصائص المستخرجة من الصورة. ثانياً، اكتشفنا أن المواقع ثلاثية الأبعاد الأكثر دقة يمكن الحصول عليها من خلال الجمع بين المعلومات حول المواقع النسبية بالنسبة لمفاصل متعددة، بدلاً من مجرد مفصل جذر واحد. تظهر نتائج التجارب أن الطريقة المقترحة تحقق أداءً مشابهاً لأفضل الأساليب الحالية على مجموعة بيانات Human 3.6m (Human 3.6m dataset).