الاندماج الافتراضي متعدد الزوايا للتصنيف الدلالي ثلاثي الأبعاد

التفكيك الدلالي للشبكات ثلاثية الأبعاد يُعد مشكلة مهمة لفهم المشاهد ثلاثية الأبعاد. في هذا البحث، نعيد النظر في التمثيل متعدد المنظورات الكلاسيكي للشبكات ثلاثية الأبعاد وندرس عدة تقنيات تُسهم في جعله فعّالاً في التفكيك الدلالي ثلاثي الأبعاد للشبكات. بالاعتماد على شبكة ثلاثية الأبعاد تم استخلاصها من أجهزة الاستشعار RGBD، تختار طريقة العمل لدينا بشكل فعّال مناظير افتراضية مختلفة للشبكة ثلاثية الأبعاد، ثم تُرسَم قنوات ثنائية الأبعاد متعددة لتدريب نموذج فعّال للتفكيك الدلالي ثنائي الأبعاد. تُدمج في النهاية الميزات المستمدة من التنبؤات المتعددة لكل منظور على رؤوس الشبكة ثلاثية الأبعاد للتنبؤ بعلامات التفكيك الدلالي للشبكة. باستخدام معيار التفكيك الدلالي ثلاثي الأبعاد على نطاق واسع من الداخل (ScanNet)، نُظهر أن مناظيرنا الافتراضية تُمكّن من تدريب شبكات التفكيك الدلالي ثنائي الأبعاد بشكل أكثر فعالية مقارنة بالأساليب متعددة المنظورات السابقة. وبمجرد تجميع التنبؤات ثنائية الأبعاد لكل بكسل على الأسطح ثلاثية الأبعاد، تُظهر طريقة دمج المناظير الافتراضية لدينا نتائج متفوقة بشكل ملحوظ في التفكيك الدلالي ثلاثي الأبعاد مقارنة بجميع الأساليب متعددة المنظورات السابقة، وتنافس الطرق الحديثة القائمة على التحويل الثلاثي الأبعاد.