التمييز الطرفي في المشاهد ثلاثية الأبعاد باستخدام شبكات شجرة النقاط الشاملة الدلالية

التحليل التوافقي للمناظر ثلاثية الأبعاد يُعدّ أساسياً في العديد من تطبيقات فهم المشهد. ومع ذلك، يظل هذا المجال يواجه صعوبات كبيرة نظراً للعوامل المركبة الناتجة عن عدم انتظام البيانات وغموض عدد الكيانات (الكائنات). تعتمد الطرق الرائدة حديثاً إلى حد كبير على مسار عام يتضمن أولاً تعلم ميزات مميزة لكل نقطة من حيث المستوى المعنى (السماتي) والمستوى التوافقي (الكائن)، يليه خطوة منفصلة لجمع النقاط بهدف اقتراح الكائنات. وعلى الرغم من النتائج الواعدة، فإن هذه الطرق تعاني من عيوب رئيسية، ألا وهي: (1) أن الخطوة الثانية لا تُدرّب وفقاً للهدف الرئيسي للتحليل التوافقي، و(2) أن تعلم الميزات لكل نقطة وعملية جمع النقاط تكون أقل فعالية في التعامل مع عدم انتظام البيانات، مما قد يؤدي إلى تقسيمات مجزأة. لمعالجة هذه المشكلات، نقترح في هذا العمل حلًا متكاملًا من البداية إلى النهاية يُسمى شبكة شجرة النقاط الفائقة المعنوية (SSTNet)، والتي تُقترح من خلالها كائنات من نقاط المشهد. وتُعدّ الشجرة الفائقة المعنوية (SST) المُتوسطة في SSTNet عنصراً محورياً، حيث تُبنى بناءً على الميزات المعنوية المُتعلمة للنقاط الفائقة، وتُمرَّر وتُقسَّم عند العقد المتوسطة في الشجرة لاقتراح كائنات. كما صممنا في SSTNet وحدة تحسين تُسمى CliqueNet، لتقليل النقاط الفائقة التي قد تُجمَع خطأً ضمن اقتراحات كائنات. أظهرت التجارب على معايير المراجع ScanNet وS3DIS فعالية الطريقة المقترحة. وفي وقت التقديم، تحتل SSTNet المرتبة الأولى في قائمة التصنيف (Leaderboard) لـ ScanNet (V2)، بزيادة بنسبة 2% في متوسط الدقة (mAP) مقارنة بالطريقة الثانية الأفضل. وتم توفير الشفرة المصدرية بلغة PyTorch عبر الرابط: https://github.com/Gorilla-Lab-SCUT/SSTNet.