نقدّم 3DMV، طريقة جديدة لتحليل المشهد ثلاثي الأبعاد دلاليًا باستخدام بيانات المسح RGB-D في البيئات الداخلية، من خلال استخدام شبكة تنبؤ متعددة الأبعاد ثلاثية الأبعاد (3D-multi-view) مدمجة. على عكس الطرق الحالية التي تعتمد إما على البيانات الهندسية أو بيانات الصور الملونة (RGB) كمدخلات لهذه المهمة، ندمج كلا نوعي البيانات في بنية شبكة متكاملة ومتصلة بشكل مباشر (end-to-end). بدلًا من مجرد تProjection البيانات اللونية إلى شبكة ثلاثية الأبعاد ثم معالجتها بشكل حصري في الفضاء ثلاثي الأبعاد – وهو ما يؤدي إلى نقص في التفاصيل – نقوم أولًا باستخراج خرائط الميزات من الصور الملونة المرتبطة بالمسح. ثم يتم تحويل هذه الميزات إلى الشبكة الثلاثية الأبعاد لشبكة ثلاثية الأبعاد باستخدام طبقة إعادة تProjection قابلة للتمييز (differentiable backprojection layer). وبما أن هدفنا هو تطبيق سيناريوهات المسح ثلاثي الأبعاد التي قد تتضمن عددًا كبيرًا من الإطارات، نستخدم نهجًا تجميعيًا متعدد الأطر (multi-view pooling) للتعامل مع عدد متغير من الإطارات الملونة كمدخلات. يحقق هذا التجميع المُدرَّب لبيانات RGB والبيانات الهندسية ضمن بنية مدمجة ثنائية الأبعاد وثلاثية الأبعاد نتائج أفضل بشكل ملحوظ مقارنة بالأساليب القائمة. على سبيل المثال، ارتفع دقة النتيجة النهائية الخاصة بنا في معيار التصنيف ثلاثي الأبعاد لبيانات ScanNet من 52.8% إلى 75% مقارنة بالهياكل الحالية القائمة على الشبكات الثلاثية الأبعاد.