تقدير وضعية الإنسان ثلاثية الأبعاد ذاتي الإشراف باستخدام الهندسة متعددة المناظر

نقدم خوارزمية تعلم ذاتي لتقدير وضع الجسم البشري ثلاثي الأبعاد لشخص واحد تعتمد على نظام كاميرات متعدد الزوايا وتقديرات وضع الجسم ثنائية الأبعاد لكل زاوية. لتدريب نموذجنا، الذي يُمثل بواسطة شبكة عصبية عميقة، نقترح خوارزمية تعلم تعتمد على أربع دوال خسارة، والتي لا تتطلب أي بيانات حقيقية لوضع الجسم ثنائية أو ثلاثية الأبعاد. الدوال المقترحة للخسارة تستفيد من الهندسة المتعددة الزوايا لإعادة بناء تقديرات وضع الجسم ثلاثي الأبعاد وتفرض قيودًا على وضع الجسم بين زوايا الكاميرات. نهجنا يستخدم جميع الزوايا المتاحة للكاميرات أثناء التدريب، بينما يتم الاستدلال بزاوية واحدة فقط. في تقييماتنا، نظهر أداءً واعدًا على مقاييس Human3.6M وHumanEva، كما نقدم دراسة تعميم على مجموعة بيانات MPI-INF-3DHP بالإضافة إلى عدة نتائج تقليص (Ablation). بشكل عام، نتفوق على جميع طرق التعلم الذاتي ونحقق نتائج مقاربة مع طرق التعلم المشرف عليها والتعلم شبه المشرف عليه. رمز البرمجة والنماذج الخاصة بنا متاحة للعامة.