تقدير وضع اليد في مهمة الإجراءات ذات النظرة الذاتية

في هذه المقالة، نتناول مشكلة تقدير وضعية اليد عند تفاعلها مع أشياء مختلفة من منظور ذاتي (إيغوسنتريك). ويتضمن هذا التحدي تكرار انسداد أجزاء من اليد بواسطة الجسم، بالإضافة إلى انسدادات ذاتية لليد نفسها. نستخدم نهجًا يُعرف بـ "الكتلة إلى الكتلة" (Voxel-to-Voxel) لاستخلاص احتمالات مواقع مفاصل اليد، ثم نُجمّع هذه الاحتمالات ونستخدم عدة استراتيجيات ما بعد المعالجة لتحسين النتائج. ونستفيد من نماذج وضعية اليد السابقة على شكل تحليل القيمة المفردة المقطوعة (Truncated Singular Value Decomposition - SVD) والسياق الزمني لإنتاج مواقع مفصلية لليد أكثر دقة. كما نقدّم دراسة تحليلية (أبلايشن ستودي) للطرق المستخدمة لعرض تأثير كل ميزة من ميزات ما بعد المعالجة بشكل منفصل. وباستخدام طريقة العمل هذه، تمكّنا من تحقيق أفضل النتائج الحالية على مسابقة HANDS19، المهمة 2: تقدير وضعية اليد ثلاثية الأبعاد بناءً على البيانات العمق أثناء التفاعل مع الأشياء، مع تحقيق دقة على بيانات الاختبار غير المرئية تبلغ 33.09 مم.