اختيار منظور افتراضي فعّال لتقدير وضع اليد ثلاثية الأبعاد

تُعدّ مسألة تقدير وضعية اليد ثلاثية الأبعاد من عمق واحد مشكلة أساسية في رؤية الحاسوب، ولها تطبيقات واسعة النطاق. ومع ذلك، لا تزال الطرق الحالية غير قادرة على تحقيق نتائج مرضية في تقدير وضعية اليد بسبب التغيرات في الزاوية المرئية والتداخلات الناتجة عن تغطية جزء من اليد. في هذه الورقة، نقترح وحدة جديدة لاختيار ودمج المناظر الافتراضية لتقدير وضعية اليد ثلاثية الأبعاد من عمق واحد. نقترح اختيارًا تلقائيًا لعدة مناظر افتراضية لتقدير الوضعية، ثم دمج النتائج الناتجة عن جميع هذه المناظر، ووجدنا تجريبيًا أن هذا النهج يُعطي تقديرًا دقيقًا ومقاومًا للتشويش. وللتأكد من اختيار أقصى عدد من المناظر الافتراضية الفعالة لعملية الدمج، قمنا بتقييم هذه المناظر بناءً على درجة ثقة كل منها باستخدام شبكة خفيفة الوزن، عبر تقنية نقل المعرفة (network distillation). أظهرت التجارب على ثلاث مجموعات بيانات معيارية رئيسية، تشمل NYU وICVL وHands2019، أن طريقتنا تتفوّق على أحدث الطرق المنشورة على مجموعتي NYU وICVL، وتحقيق أداءً تنافسيًا للغاية في مهمة Hands2019-Task1، كما أثبتت الوحدة المقترحة لاختيار ودمج المناظر الافتراضية فعاليتها في تقدير وضعية اليد ثلاثية الأبعاد.