HOISDF: تقييد تقدير وضعية اليد والكائن ثلاثي الأبعاد باستخدام الحقول المسافات الموقعة عالمياً

اليد البشرية مفصلة للغاية ومتنوعة في التعامل مع الأشياء. تقدير وضعيات اليد والشيء الذي تتعامل معه ثلاثي الأبعاد من خلال كاميرا أحادية العدسة يعد تحديًا بسبب التغطيات المتكررة. لذلك، تعتمد الطرق الحالية غالبًا على تمثيلات شكلية ثلاثية الأبعاد متوسطة لزيادة الأداء. هذه التمثيلات عادة ما تكون صريحة، مثل السحابات النقطية ثلاثية الأبعاد أو الشبكات (3D point clouds or meshes)، وبالتالي توفر معلومات حول البيئة المباشرة لتقدير وضعية اليد الوسيطة. للتعامل مع هذا، نقدم شبكة تقدير وضعيات اليد والشيء الموجه بالمجال المسافة الموقعة (HOISDF)، والتي تستغل بشكل مشترك مجالات المسافات الموقعة لليد والشيء لتوفير تمثيل ضمني عالمي عبر حجم الإعادة الكامل. بصفة خاصة، يكون دور المجالات المسافة الموقعة ثلاثيًا: تزويد الكود البصري بمعلومات شكل ضمنية، مساعدة في ترميز التفاعلات بين اليد والشيء، وإرشاد تقدير وضعيات اليد والشيء عبر العينات المستندة إلى المجال المسافة الموقعة وتعزيز التمثيلات الخصائص. نظهر أن HOISDF يحقق نتائج رائدة على مقاييس تقدير وضعيات اليد والشيء (DexYCB و HO3Dv2). الرمز متاح على https://github.com/amathislab/HOISDF