تقدير وضعية اليد ثلاثية الأبعاد بالاعتماد على العمق: من الإنجازات الحالية إلى الأهداف المستقبلية

في هذا البحث، نسعى إلى الإجابة على سؤالين: ما هو الحالة الراهنة لتقدير وضعية اليد ثلاثية الأبعاد من صور العمق؟ وما هي التحديات القادمة التي يجب مواجهتها؟ بعد نجاح تحدي "مليون يد" (HIM2017)، نقوم بدراسة أفضل 10 طرق متطورة في ثلاثة مهام: تقدير وضعية اليد ثلاثية الأبعاد في إطار واحد، تتبع اليد ثلاثية الأبعاد، وتقدير وضعية اليد أثناء التفاعل مع الأجسام. نحلل أداء مختلف هياكل الشبكات العصبية الم convoled (CNN) فيما يتعلق بشكل اليد، رؤية المفاصل، توزيع الزاوية البصرية والتشابك. وتتضمن نتائجنا: (1) تقدير وضعية اليد ثلاثية الأبعاد المعزولة يحقق أخطاء متوسطة منخفضة (10 ملم) في نطاق الزاوية البصرية [70, 120] درجة، ولكنه بعيد عن الحل لزوايا النظر المتطرفة؛ (2) تمثيلات الحجم ثلاثي الأبعاد تتفوق على شبكات CNN ثنائية الأبعاد، حيث تلتقط بنية البيانات العميقة الفضائية بشكل أفضل؛ (3) لا تزال الأساليب التمييزية تعمم بشكل ضعيف على أشكال اليدين غير المعروفة؛ (4) بينما تشكل انسدادات المفاصل تحديًا لأغلب الأساليب، يمكن للنمذجة الصريحة للقيود الهيكلية أن تضيق بشكل كبير الفجوة بين أخطاء المفاصل المرئية والمنسددة.