إعادة بناء اليد باستخدام تقارب الشبكة المُراقبة بشكل ضعيف في البيئة البرية

نقدم بنية شبكة بسيطة وفعالة لتقدير وضعية اليد ثلاثية الأبعاد من صورة واحدة، وتتكوّن من معالج صور يتبعه فكّار تآلفي لشبكة (Mesh) يتم تدريبه من خلال خسارة مباشرة لإعادة بناء شبكة اليد ثلاثية الأبعاد. تم تدريب شبكتنا من خلال جمع مجموعة بيانات كبيرة الحجم تتضمن حركات اليد من مقاطع فيديو على يوتيوب، واستخدمناها كمصدر للإشراف الضعيف. يتفوّق نظامنا القائم على التآلفات الشبكية الضعيفة التدريب بشكل كبير على الطرق الحالية، بل ويقلّل الأخطاء إلى النصف تقريبًا في معيار التقييم في البيئة الطبيعية (in the wild). تتوفر مجموعة البيانات والموارد الإضافية على الرابط: https://arielai.com/mesh_hands.