نحو إعادة بناء اليدين والأشياء المشتركة دون قيود من مقاطع الفيديو RGB

يهدف عملنا إلى الحصول على إعادة بناء ثلاثية الأبعاد لليدين والأشياء التي يتم التلاعب بها من مقاطع الفيديو الأحادية العدسة. تحتوي إعادة بناء التلاعب باليدين والأشياء على إمكانات كبيرة في مجال الروبوتات وتعلم الدروس من تظاهرات البشر. ومع ذلك، فإن نهج التعلم الإشرافي لهذه المشكلة يتطلب إشرافًا ثلاثي الأبعاد ويظل مقتصرًا على بيئات المختبرات المقيدة والمحاكاة حيث يكون الحقيقة الأرضية ثلاثية الأبعاد متاحة. في هذا البحث، نقترح أولاً نهجًا لتناسب إعادة بناء اليدين والأشياء دون الحاجة إلى التعلم، والذي يمكنه التعامل مع التفاعلات بين يديْن بشكل سلس. تعتمد طريقتنا على المؤشرات المستحصلة باستخدام الطرق الشائعة لاكتشاف الأشياء، تقدير وضع اليد، وتقسيم النماذج (instance segmentation). قمنا بتقييم نهجنا كميًا وأظهرنا أنه يمكن تطبيقه على مجموعات بيانات ذات مستويات صعوبة مختلفة والتي تكون فيها البيانات التدريبية غير متاحة.