Omni3D: معيار كبير ونموذج للكشف عن الأشياء ثلاثية الأبعاد في البيئة الطبيعية

التعرف على المشاهد والأشياء في ثلاثية الأبعاد من صورة واحدة هو هدف قديم في مجال رؤية الحاسوب، له تطبيقات في الروبوتات وواقع المعزز/الواقع الافتراضي (AR/VR). بالنسبة للتعرف ثنائية الأبعاد، أدت المجموعات الضخمة من البيانات والحلول القابلة للتوسع إلى تقدم غير مسبوق. أما في ثلاثية الأبعاد، فإن المعايير الحالية صغيرة الحجم والطرق المتخصصة تنحصر في فئات قليلة من الأشياء ومجالات معينة، مثل مشاهد القيادة الحضرية. مستوحين من نجاح التعرف ثنائية الأبعاد، نعيد النظر في مهمة الكشف عن الأشياء ثلاثية الأبعاد من خلال تقديم معيار ضخم يُسمى Omni3D. يعيد Omni3D استخدام وتجميع المجموعات الحالية من البيانات، مما يؤدي إلى 234 ألف صورة تم توثيقها بأكثر من 3 ملايين حالة و98 فئة. يعتبر الكشف ثلاثي الأبعاد على هذا المستوى الكبير تحديًا بسبب التباين في خصائص الكاميرا الداخلية والتنوع الغني لأنواع المشاهد والأجسام. نقترح نموذجًا يُسمى Cube R-CNN، مصمم ليعمل بشكل عام عبر أنواع مختلفة من الكاميرات والمشاهد باستخدام نهج موحد. نظهر أن Cube R-CNN يتفوق على الأعمال السابقة في Omni3D ومعايير الحالية الأكبر حجمًا. أخيرًا، نثبت أن Omni3D هي مجموعة بيانات قوية للتعرف على الأجسام ثلاثية الأبعاد وأنها تحسن أداء المجموعة الواحدة من البيانات ويمكن أن تسريع التعلم على مجموعات بيانات جديدة وأصغر عبر التدريب الأولي.