نحو ممارسات جيدة لتقدير وضعية اليد ثلاثية الأبعاد بعمق

تقدير وضع اليد ثلاثي الأبعاد من صورة عمق واحدة هو مشكلة مهمة وصعبة في مجال التفاعل بين الإنسان والحاسوب. تم مؤخرًا استخدام شبكات التلافيف العميقة (ConvNet) ذات التصميم المعقد لمعالجة هذه المشكلة، لكن التحسين على طرق الغابة العشوائية التقليدية ليس واضحًا جدًا. للاستفادة من الممارسات الجيدة وتعزيز أداء تقدير وضع اليد، نقترح شبكة تجميع المناطق ذات الهيكل الشجري (REN) للانحدار المباشر للإحداثيات ثلاثية الأبعاد. تقوم هذه الطريقة أولاً بتقسيم مخرجات التلافيف الأخيرة لـ ConvNet إلى عدة مناطق شبكية. ثم يتم دمج النتائج من الانحدارات المتصلة بالكامل (FC) المنفصلة لكل منطقة بواسطة طبقة متصلة بالكامل أخرى لإجراء التقدير. من خلال الاستفادة من استراتيجيات تدريب متعددة بما في ذلك زيادة البيانات والخسارة الناعمة $L_1$، يمكن للشبكة المقترحة REN تحسين أداء ConvNet بشكل كبير في تحديد مفاصل اليد. تظهر النتائج التجريبية أن نهجنا يحقق أفضل الأداء بين الخوارزميات الرائدة على ثلاثة مجموعات بيانات عامة لوضع اليد. كما قمنا بتجربة طرقنا على كشف رؤوس الأصابع ومجموعات بيانات وضع الإنسان وحصلنا على دقة رائدة في هذا المجال.