Command Palette
Search for a command to run...
شبكة اندماج واعية بالتشابه للفصل الدلالي ثلاثي الأبعاد
شبكة اندماج واعية بالتشابه للفصل الدلالي ثلاثي الأبعاد
Linqing Zhao Jiwen Lu Jie Zhou
الملخص
في هذه الورقة، نقترح شبكة دمج مُراعية للتشابه (SAFNet) لدمج تلقائي للصور ثنائية الأبعاد (2D) والسحابات النقطية ثلاثية الأبعاد (3D) بهدف التصنيف الدلالي ثلاثي الأبعاد. تحقق الطرق القائمة على الدمج حاليًا أداءً متميزًا من خلال دمج المعلومات من عدة وسائط. ومع ذلك، تعتمد هذه الطرق بشكل كبير على التقابل بين البكسلات ثنائية الأبعاد والنقاط ثلاثية الأبعاد عبر التProjected، وتنفذ دمج المعلومات بطريقة ثابتة، وبالتالي لا يمكن نقل أدائها بسهولة إلى سيناريوهات أكثر واقعية، حيث غالبًا ما تكون البيانات المجمعة تفتقر إلى خصائص زوجية صارمة للاستنتاج. ولحل هذه المشكلة، نستخدم استراتيجية دمج متأخرة، حيث نتعلم أولًا التشابه الهندسي والسياقي بين السحابة النقطية المدخلة والسحابة النقطية المُعاد تProjectionها (من البكسلات ثنائية الأبعاد)، ثم نستخدم هذه القياسات لتوجيه دمج الوسائط المتعارضة، بهدف استغلال أفضل للمعلومات المكملة. وبشكل محدد، نستخدم وحدة التشابه الهندسي (GSM) لمقارنة توزيع الإحداثيات المكانية مباشرة بين الجيران ثلاثيي الأبعاد المزدوجين، ووحدة التشابه السياقي (CSM) لجمع ومقارنة المعلومات السياقية المكانية للنقاط المركزية المقابلة. يمكن للوحدتين المُقترحتين قياس مدى مساهمة ميزات الصورة في التنبؤ، مما يمكّن الشبكة من تعديل تأثير كل وسيلة تلقائيًا في التنبؤ النهائي لكل نقطة. تُظهر النتائج التجريبية على معيار ScanNetV2 أن SAFNet تتفوق بشكل كبير على الطرق المتطورة القائمة على الدمج في مختلف مستويات سلامة البيانات.