إكمال المشهد الشكلي المعتمد على التوجيه الشكلي ثنائي الأبعاد

يهدف إكمال المشهد الدلالي (SSC) إلى إنجاز مهام إكمال المشهد (SC) والتنبؤ بفئات دلالية لمشهد ثلاثي الأبعاد من خلال صورة عمق واحدة و/أو صورة RGB. تواجه معظم الطرق الحالية لإكمال المشهد الدلالي صعوبات في التعامل مع المناطق المعقدة التي تحتوي على كثرة كائنات متقاربة، خصوصًا الكائنات ذات الأسطح الانعكاسية أو الداكنة. ويعود ذلك في الأساس إلى تحديين رئيسيين: (1) فقدان المعلومات الهندسية الناتج عن عدم موثوقية قيم العمق المُستخلصة من أجهزة الاستشعار، و(2) احتمال حدوث تشويش دلالي عند محاولة التنبؤ بالأشكال ثلاثية الأبعاد والعلامات الدلالية في آنٍ واحد. ولحل هذه المشكلات، نقترح إطارًا جديدًا يُسمى SG-SSC (إكمال المشهد الدلالي المُرشد دلاليًا)، والذي يتضمن وحدة تجميع مُرشدة دلاليًا (SGF) ووحدة تنبؤ دلالي مُرشدة بالحجم (VGSP). تعتمد SGF على خرائط التصنيف الدلالي ثنائية الأبعاد لدمج ميزات RGB والعمق بشكل تكيفي، بهدف تعويض المعلومات الهندسية المفقودة الناتجة عن القيم المفقودة في صور العمق، مما يعزز من موثوقية الأداء أمام معلومات عمق غير موثوقة. أما VGSP، فيستفيد من الفائدة المتبادلة بين مهام إكمال المشهد والمشهد الدلالي، مما يجعل SSC أكثر تركيزًا على التنبؤ بفئات المكعبات (الفاكسلز) ذات الاحتمالات العالية للاشتمال، كما يسمح لمهام إكمال المشهد باستغلال المعرفة الدلالية السابقة لتحسين تنبؤات اشتمال المكعبات. أظهرت النتائج التجريبية أن نموذج SG-SSC يتفوق على الطرق الحالية المتطورة في مجموعات بيانات NYU وNYUCAD وSemanticKITTI. يمكن الوصول إلى النماذج والكود من خلال الرابط: https://github.com/aipixel/SG-SSC.