نحو تقدير وضعية الإنسان ثلاثية الأبعاد في البيئة الطبيعية: نهج مشرف عليه بشكل ضعيف

في هذه الورقة، ندرس مهمة تقدير وضع الإنسان ثلاثي الأبعاد في البيئات الحقيقية (in the wild).تعد هذه المهمة صعبة بسبب نقص البيانات التدريبية، حيث أن المجموعات البيانات الموجودةإما صور حقيقية مع وضع ثنائي الأبعاد أو صور مخبرية مع وضع ثلاثي الأبعاد.نقترح طريقة تعلم نقل ضعيف الإشراف تستخدم مزيجًا من العلامات ثنائية وثلاثية الأبعاد في شبكة عصبية عميقة موحدة تتكون من هيكل متسلسل ذي مرحلتين. شبكتنا تعزز شبكة فرعية رائدة لتقدير الوضع ثنائي الأبعاد بشبكة فرعية للتنبؤ بالعمق ثلاثي الأبعاد. على عكس النهج ثنائية المرحلة السابقة التي تقوم بتدريب الشبكات الفرعية بشكل متتابع ومنفصل، فإن تدريبنا يتم من النهاية إلى النهاية ويستغل تمامًا الارتباط بين مهمتي تقدير الوضع ثنائي الأبعاد والتنبؤ بالعمق. يتم تعلم الخصائص العميقة بشكل أفضل من خلال التمثيلات المشتركة. وبذلك، يتم نقل العلامات ثلاثية الأبعاد من البيئات المخبرية الخاضعة للرقابة إلى الصور الحقيقية. بالإضافة إلى ذلك، نقدم قيدًا هندسيًا ثلاثي الأبعاد لتنظيم التنبؤ بالوضع الثلاثي الأبعاد، وهو ما يكون فعالاً في غياب العلامات الحقيقية للعمق. حققت طرقتنا نتائج تنافسية على كلا المقاييس الثنائية والثلاثية الأبعاد.