تعلم إعادة بناء اليدين والأشياء المُدارة

تقدير التلاعبات بين اليد والكائن ضروري لفهم وإعادة إنتاج الأفعال البشرية. لقد أحرزت الأعمال السابقة تقدماً كبيراً في إعادة بناء وضعيات اليد وأشكال الكائنات بشكل منفصل. ومع ذلك، فإن إعادة بناء اليدين والكائنات أثناء التلاعب هو مهمة أكثر تحدياً بسبب الإخفاء الكبير لكل من اليد والكائن. بينما يشكل التلاعب تحديات، فإنه قد يبسط المشكلة أيضاً نظراً لأن فيزياء الاحتكاك تحد من مساحة التكوينات المقبولة بين اليد والكائن. على سبيل المثال، أثناء التلاعب، يجب أن تكون اليد والكائن في اتصال ولكن ليس هناك اختراق بينهما. في هذا العمل، نقوم بتنظيم إعادة بناء اليدين والكائنات المشتركة باستخدام قيود التلاعب. نقدم نموذجاً قابلاً للتعلم من النهاية إلى النهاية يستغل خسارة احتكاك جديدة (contact loss) تفضل تكوينات يد-كائن مادية معقولة. يحسن نهجنا مقاييس جودة الإمساك على النماذج الأساسية باستخدام صور RGB كمدخلات. لتدريب وتقييم النموذج، نقترح أيضاً مجموعة بيانات مصنعة جديدة وعالية الحجم، ObMan، تحتوي على تلاعبات بين اليدين والكائنات. نظهر قابلية نقل النماذج التي تم تدريبها على ObMan إلى البيانات الحقيقية.