SCPNet: إكمال المشهد الدلالي على السحابة النقطية

تدريب النماذج العميقة لإنجاز المشهد الدلالي (SSC) يُعد تحديًا كبيرًا بسبب المدخلات النادرة وغير الكاملة، بالإضافة إلى كمية كبيرة من الكائنات ذات الأحجام المتنوعة، فضلًا عن الضجيج في العلامات الناتج عن الكائنات المتحركة. ولحل المشكلات المذكورة أعلاه، نقترح ثلاثة حلول رئيسية: 1) إعادة تصميم شبكة إنهاء الإكمال: نصمم شبكة إكمال جديدة تتألف من عدة كتل متعددة المسارات (MPBs) لجمع السمات متعددة المقاييس، وتُخلّص من عمليات التناقص الضائعة (lossy downsampling). 2) استخلاص معرفة غنية من النموذج متعدد الإطارات: نصمم هدفًا جديدًا لاستخلاص المعرفة يُدعى "استخلاص المعرفة من الكثافة إلى الندرة" (Dense-to-Sparse Knowledge Distillation - DSKD)، الذي ينقل المعرفة الدلالية القائمة على العلاقات من النموذج المُعلّم متعدد الإطارات (المرشد) إلى النموذج الفردي (الطالب)، مما يُحسّن بشكل كبير تعلم التمثيل في النموذج الفردي. 3) تصحيح علامات الإكمال: نقترح استراتيجية بسيطة ولكن فعّالة لتصحيح العلامات، تستخدم علامات التجزئة البانوبتكية الجاهزة لإزالة آثار الكائنات المتحركة من علامات الإكمال، مما يُحسّن الأداء بشكل كبير، خاصةً بالنسبة للكائنات المتحركة. أجرينا تجارب واسعة على بحثين علنيين لإنجاز المشهد الدلالي، وهما SemanticKITTI وSemanticPOSS. يُصنف نموذجنا SCPNet في المرتبة الأولى في تحدي إكمال المشهد الدلالي على مجموعة بيانات SemanticKITTI، ويتفوّق على النموذج التنافسي S3CNet بنسبة 7.2 نقطة في مقياس mIoU. كما يتفوّق SCPNet على الخوارزميات السابقة في إكمال المشهد على مجموعة بيانات SemanticPOSS. علاوةً على ذلك، يحقق نهجنا نتائج تنافسية أيضًا في مهام التصنيف الدلالي على مجموعة بيانات SemanticKITTI، مما يدل على أن المعرفة المكتسبة في إكمال المشهد تُسهم بشكل مفيد في مهام التصنيف.