ال估س 3D لوضع اليد عبر القيود الحيوية مع إشراف ضعيف

تقدير وضع اليد ثلاثي الأبعاد من الصور ثنائية الأبعاد يُعد مشكلة عكسية صعبة نظرًا لوجود غموض ذاتي في الحجم والعمق. تعتمد الطرق الحديثة الأفضل في هذا المجال على تدريب شبكات عصبية عميقة مُراقبة بالكامل باستخدام بيانات حقيقية ثلاثية الأبعاد. ومع ذلك، فإن جمع التسميات ثلاثية الأبعاد مكلف للغاية، ويتطلب عادةً أنظمة متعددة الزوايا مُعدَّة مسبقًا أو تسميات يدوية مُكثفة. في المقابل، فإن جمع التسميات ثنائية الأبعاد للنقاط المفتاحية أمر أسهل بكثير، ولكن كيفية الاستفادة بكفاءة من هذه البيانات المُراقبة الضعيفة لتحسين مهام تقدير وضع اليد ثلاثي الأبعاد تظل سؤالًا مفتوحًا مهمًا. تكمن الصعوبة الأساسية في حقيقة أن تطبيق المراقبة الإضافية ثنائية الأبعاد يُفيد في الغالب الهدف الوهمي ثنائي الأبعاد، لكنه لا يُسهم كثيرًا في تقليل الغموض في العمق والحجم. وواجهنا هذه التحديات، واقترحنا مجموعة من الخسائر الجديدة. ونُظهر من خلال تجارب واسعة أن القيود المقترحة تقلل بشكل كبير من غموض العمق، وتسمح للشبكة باستغلال الصور المُعلَّمة ثنائية الأبعاد الإضافية بشكل أكثر فعالية. على سبيل المثال، على مجموعة بيانات frieHAND الصعبة، يؤدي استخدام تسميات ثنائية الأبعاد إضافية دون القيود البيوميكانيكية المقترحة إلى تقليل خطأ العمق فقط بنسبة 15٪، في حين ينخفض الخطأ بشكل كبير بنسبة 50٪ عند استخدام القيود البيوميكانيكية المقترحة.