الشبكات العصبية الرسومية ثلاثية الأبعاد للتحليل الدلالي لصور RGBD

يتطلب التصنيف الدلالي لـ RGBD استنتاجًا متكاملًا حول المعلومات البصرية ثنائية الأبعاد والهندسية ثلاثية الأبعاد. في هذه الورقة، نقترح شبكة عصبية رسمية ثلاثية الأبعاد (3DGNN) تقوم ببناء رسم بياني يعتمد على أقرب جيران (k-nearest neighbor) فوق سحابة نقاط ثلاثية الأبعاد. يتوافق كل عقدة في الرسم البياني مع مجموعة من النقاط، ومرتبطة بمتجه تمثيل خفي تم تهيئته باستخدام ميزة بصرية تم استخلاصها بواسطة شبكة عصبية أحادية (unary CNN) من الصور ثنائية الأبعاد. تعتمد العقدة على دوال تكرارية (recurrent functions) لتحديث تمثيلها الخفي ديناميكيًا بناءً على الحالة الحالية والرسائل الواردة من جيرانها. يتم تطبيق نموذج الانتشار هذا على مدى عدد محدد من خطوات الزمن، ويُستخدم التمثيل النهائي لكل عقدة في التنبؤ بفئة الدلالة لكل بكسل. ونستخدم التدريب عبر التراجع الزمني (back-propagation through time) لتدريب النموذج. أظهرت التجارب الواسعة على مجموعتي بيانات NYUD2 وSUN-RGBD فعالية النهج المُقترح.