مساحة الإحداثيات المعيارية للأشياء لتقدير وضعية وحجم الأشياء على مستوى الفئة في ستة أبعاد

هدف هذا البحث هو تقدير وضعية الـ 6D وأبعاد نماذج الأشياء غير المعروفة في صورة RGB-D. على عكس مهام تقدير وضعية الـ 6D على مستوى النموذج، يفترض مشكلتنا أنه لا توجد نماذج CAD دقيقة للأجسام خلال مرحلتي التدريب أو الاختبار. لمعالجة نماذج الأجسام المختلفة وغير المعروفة ضمن فئة معينة، نقدم مساحة إحداثيات الجسم المُعَمَّمة (NOCS) --- وهي تمثيل قياسي مشترك لكل النماذج المحتملة للأجسام داخل الفئة. ثم يتم تدريب شبكتنا العصبية القائمة على المناطق مباشرةً لاستنتاج التوافق من البكسلات المشاهدة إلى هذا التمثيل المشترك للجسم (NOCS)، بالإضافة إلى معلومات أخرى عن الجسم مثل تصنيفه وقناع النموذج الخاص به. يمكن دمج هذه التوقعات مع خريطة العمق لتقدير وضعية الـ 6D والأبعاد المتريّة لأجسام متعددة في مشهد مزدحم بشكل مشترك. لتدريب شبكتنا، نقدم تقنية جديدة تدرك السياق لإنشاء كميات كبيرة من بيانات الواقع المختلط المُشْرَحة بالكامل. ولتحسين نموذجنا وتقييم أدائه على البيانات الحقيقية، نوفر أيضًا مجموعة بيانات حقيقية مُشْرَحة بالكامل تحتوي على تنوع كبير في البيئة والنماذج. تظهر التجارب الواسعة أن الطريقة المقترحة قادرة على تقدير وضعية وأبعاد نماذج الأجسام غير المعروفة بثبات في بيئات حقيقية، كما أنها تحقق أداءً رائدًا في مقاييس تقدير وضعية الـ 6D القياسية.