3DMV: التنبؤ المشترك بثلاثية الأبعاد ومتعدد الآراء لتقسيم المشهد الدلالي ثلاثي الأبعاد

نقدم طريقة جديدة تُسمى 3DMV، وهي مخصصة لتقسيم المشاهد الداخلية ثلاثية الأبعاد (3D) باستخدام شبكة التنبؤ الثلاثية متعددة الآراء (joint 3D-multi-view prediction network). على عكس الطرق الحالية التي تعتمد إما على البيانات الهندسية أو بيانات RGB كمدخلات لهذا المهمة، نحن ندمج بين هذين النوعين من البيانات في هيكل شبكة مشتركة ومتصلة من النهاية إلى النهاية. بدلاً من مجرد إسقاط البيانات اللونية في شبكة حجمية وتنفيذ العمليات فقط في البعد الثالث - مما يؤدي إلى نقص في التفاصيل - نقوم أولاً باستخراج خرائط الميزات من الصور المرتبطة بالـ RGB. ثم يتم رسم هذه الميزات في شبكة الميزات الحجمية للشبكة ثلاثية الأبعاد باستخدام طبقة الإسقاط الخلفي القابلة للمفاضلة (differentiable backprojection layer). بما أن هدفنا هو سيناريوهات المسح ثلاثي الأبعاد التي قد تحتوي على العديد من الإطارات، نستخدم نهج تجميع متعدد الآراء (multi-view pooling approach) للتعامل مع عدد متنوع من آراء الإدخال RGB. هذا الجمع المستفاد بين ميزات RGB والميزات الهندسية مع هندستنا المشتركة ثنائية-ثلاثية الأبعاد يحقق نتائج أفضل بكثير مقارنة بالأساسيات الحالية. على سبيل المثال، نتيجة أحدث طريقة لدينا في معيار تقسيم ScanNet ثلاثي الأبعاد تزداد من 52.8٪ إلى 75٪ دقة مقارنة بهياكل الشبكات الحجمية الحالية.