SHPR-Net: استرجاع عميق لوضع اليد الشكلي من السحابات النقطية

تمثيل وضعية اليد ثلاثية الأبعاد يُعد مشكلة أساسية في التفاعل بين الإنسان والحاسوب. تعتمد معظم الطرق الحالية لتمثيل وضعية اليد القائمة على الخريطة العميقة على خريطة عميقة ثنائية الأبعاد أو حجم ثلاثي الأبعاد من خلال شبكات عصبية متعددة الطبقات (CNNs) ثنائية أو ثلاثية الأبعاد. في هذه الورقة، نقترح شبكة عميقة لاسترجاع وضعية اليد ذات الدلالة (SHPR-Net) لتمثيل وضعية اليد من مجموعات النقاط، وتشمل هذه الشبكة فرعين: شبكة تصنيف دلالي وشبكة استرجاع وضعية اليد. تقوم شبكة التصنيف الدلالي بتعيين علامات دلالية لكل نقطة في مجموعة النقاط. أما شبكة استرجاع الوضعية، فتدمج المعرفة الدلالية مع استراتيجية دمج مبكر ومتقدم، وتعيد استرجاع وضعية اليد النهائية. وتم تعلم مصفوفتين للتحويل من مجموعة النقاط وتطبيقهما على تحويل السحابة النقطية المدخلة، وتحويل الوضعية الناتجة عكسيًا، مما يجعل شبكة SHPR-Net أكثر مقاومةً للتحويلات الهندسية. أظهرت التجارب على مجموعات بيانات وضعية اليد NYU وICVL وMSRA أن SHPR-Net تحقق أداءً عاليًا يوازي أفضل الطرق الحالية. كما نوضح أن طريقة العمل هذه يمكن توسيعها بشكل طبيعي لتمثيل وضعية اليد من بيانات عميقة متعددة الزوايا، وتحقق تحسنًا إضافيًا على مجموعة بيانات NYU.