RepNet: التدريب شبه المشرف على شبكة إعادة الإسقاط المعادية لتقدير وضع الجسم البشري ثلاثي الأبعاد

يتناول هذا البحث مشكلة تقدير الوضع البشري ثلاثي الأبعاد من صور فردية. بينما كان يتم في السابق تشكيل الهياكل العظمية البشرية وتوافقها مع الملاحظات عن طريق تحقيق خطأ إعادة الإسقاط، فإن الباحثين اليوم يستخدمون الشبكات العصبية مباشرة لاستنتاج الوضع ثلاثي الأبعاد من الملاحظات. ومع ذلك، فإن معظم هذه الأساليب تتجاهل حقيقة أنه يجب تحقيق قيد إعادة الإسقاط وأنها حساسة للتكيف الزائد. نعالج مشكلة التكيف الزائد بتجاهل التوافق بين الصور ثنائية الأبعاد والصور ثلاثية الأبعاد. هذا يتجنب بشكل فعال مجرد تخزين بيانات التدريب ويسمح بالتدريب شبه المشرف عليه. جزء من الشبكة المقترحة لإعادة الإسقاط (RepNet) يتعلم تحويلًا من توزيع للصور ثنائية الأبعاد إلى توزيع للصور ثلاثية الأبعاد باستخدام نهج التدريب المعادي. الجزء الآخر من الشبكة يقدر الكاميرا. هذا يتيح تعريف طبقة شبكة تقوم بإعادة إسقاط الوضع الثلاثي الأبعاد المقدر إلى ثنائي الأبعاد، مما يؤدي إلى دالة خسارة لإعادة الإسقاط. تظهر تجاربنا أن RepNet يتعمم بشكل جيد على البيانات غير المعروفة ويتفوق على أفضل الأساليب الحالية عند تطبيقه على البيانات الغير مألوفة. بالإضافة إلى ذلك، يعمل تنفيذنا في الوقت الفعلي على جهاز كمبيوتر سطح مكتب عادي.