JSNet: التجميع المشترك للهوية والتصنيف الدلالي للسحابات النقطية ثلاثية الأبعاد

في هذه الورقة، نقترح منهجية جديدة للتحليل المشترك للInstances والتحليل الدلالي، تُعرف باسم JSNet، بهدف معالجة التحليل المشترك للInstances والتحليل الدلالي للسحابات النقطية ثلاثية الأبعاد بشكل متزامن. أولاً، نُنشئ شبكة أساسية فعّالة لاستخراج ميزات قوية من السحابات النقطية الخام. ثانيًا، لاستخلاص ميزات أكثر تمييزًا، نقترح وحدة دمج ميزات السحابات النقطية لدمج ميزات الطبقات المختلفة للشبكة الأساسية. علاوةً على ذلك، نطور وحدة تحليل مشترك للInstances والتحليل الدلالي لتحويل الميزات الدلالية إلى فضاء التضمينات المميزة للInstances، ثم نُدمج هذه الميزات المحوّلة مع ميزات الInstances لتسهيل التحليل للInstances. وفي الوقت نفسه، تُجمَع ميزات الInstances في فضاء الميزات الدلالية لتعزيز التحليل الدلالي. وأخيرًا، يتم إنتاج تنبؤات الInstances باستخدام خوارزمية تجميع بسيطة تعتمد على التحويل المتوسط (mean-shift) على التضمينات الخاصة بالInstances. ونتيجة لذلك، قمنا بتقييم JSNet على مجموعة بيانات كبيرة للسحابات النقطية الداخلية ثلاثية الأبعاد S3DIS، وعلى مجموعة بيانات الأجزاء ShapeNet، وقارنّا أداءها مع الطرق الحالية. وأظهرت النتائج التجريبية أن منهجنا يتفوق على أحدث الطرق في التحليل ثلاثي الأبعاد للInstances، مع تحسّن ملحوظ في التنبؤ بالتحليل الدلالي ثلاثي الأبعاد، كما أن طريقة العمل هذه تُعد مفيدة أيضًا في التحليل الجزئي. يمكن الوصول إلى كود المصدر لهذا العمل عبر الرابط: https://github.com/dlinzhao/JSNet.