الانسيابية المعلوماتية الموجهة بال.Convolution للتقسيم الدلالي لصورة RGBD في الزمن الفعلي

يُعرف أن المعلومات الفضائية ثلاثية الأبعاد تكون مفيدة لمهام التصنيف الدلالي. تُعتبر معظم الطرق الحالية التي تُستخدم البيانات الفضائية ثلاثية الأبعاد كمدخل إضافي، ما يؤدي إلى شبكة تجزئة ثنائية التدفق التي تُعالج الصور الملونة (RGB) والمعلومات الفضائية ثلاثية الأبعاد بشكل منفصل. ونتيجة لذلك، يزداد زمن الاستنتاج بشكل كبير، ويُحدّ من استخدامها في التطبيقات الزمنية الحقيقية بشكل كبير. ولحل هذه المشكلة، نقترح طريقة تُسمى "الانسيابية الموجهة بالمعلومات الفضائية" (S-Conv)، التي تتيح دمجًا فعّالًا بين الميزات RGB والمعلومات الفضائية ثلاثية الأبعاد. تُظهر S-Conv قدرتها على استنتاج انزياح العينة لغلاف التوليف (convolution kernel) الموجه بالاعتماد على المعلومات الفضائية ثلاثية الأبعاد، مما يساعد الطبقة التوليفية على تعديل مجال الاستقبال (receptive field) والتكيف مع التحولات الهندسية. كما تُدمج S-Conv المعلومات الهندسية في عملية تعلم الميزات من خلال إنشاء أوزان توليفية مُستندة إلى الموقع المكاني. وبهذا، تُعزز القدرة على إدراك البنية الهندسية بشكل كبير دون التأثير الكبير على عدد المعلمات أو التكلفة الحسابية. وتم إدراج S-Conv في شبكة تصنيف دلالي، تُسمى "الشبكة التوليفية الموجهة بالمعلومات الفضائية" (SGNet)، ما أدى إلى تحقيق استنتاج في الزمن الحقيقي وأداءً يُصنف ضمن أفضل الأداءات الحالية على مجموعتي بيانات NYUDv2 وSUNRGBD.