OccDepth: طريقة تُراعي العمق لاستكمال المشهد ثلاثي الأبعاد مع الدلالة

يُمكن لاستكمال المشهد ثلاثي الأبعاد المعنوي (SSC) أن يوفر تمثيلات هندسية وكثيفة ومعنوية للمشهد، مما يجعله قابلاً للتطبيق في مجالات القيادة الذاتية والأنظمة الروبوتية. يُعدّ تقدير الهيكل الهندسي والمعنوي الكامل للمشهد من خلال الصور البصرية وحدها تحديًا كبيرًا، حيث يُعدّ الحصول على معلومات عمق دقيقة أمرًا حاسمًا لإعادة بناء البنية الهندسية ثلاثية الأبعاد. في هذه الورقة، نقترح أول طريقة لاستكمال المشهد ثلاثي الأبعاد المعنوي تعتمد على الصور الثنائية (Stereo SSC) تُسمى OccDepth، والتي تستغل بالكامل المعلومات الضمنية للعمق المستمدة من الصور الثنائية (أو الصور من نوع RGBD) لمساعدة استعادة الهياكل الهندسية ثلاثية الأبعاد. تم اقتراح وحدة تعيين الميزات الناعمة الثنائية (Stereo-SFA) لتحسين دمج الميزات ثلاثية الأبعاد المعتمدة على العمق من خلال تعلم الارتباط الضمني بين الصور الثنائية. وبشكل خاص، عند استخدام الصور من نوع RGBD، يمكن إنشاء صور ثنائية افتراضية من خلال الصورة RGB الأصلية وخرائط العمق. بالإضافة إلى ذلك، تُستخدم وحدة العمق المُدركة للحالة (OAD) لاستخلاص ميزات ثلاثية الأبعاد مُدركة للهندسة من خلال عملية نقل المعرفة (Knowledge Distillation) باستخدام نماذج عمق مُدرّبة مسبقًا. علاوةً على ذلك، تم تقديم معيار مُعدّل يُسمى SemanticTartanAir، وهو نسخة مُحدّثة من معيار TartanAir، لاختبار أداء طريقة OccDepth بشكل معمق في مهام استكمال المشهد ثلاثي الأبعاد. ومقارنةً بالأساليب المُتقدمة الحالية التي تستند إلى الصور RGB، أظهرت التجارب الواسعة على مجموعة بيانات SemanticKITTI تفوق أداء طريقة OccDepth، حيث سجلت تحسنًا بنسبة +4.82% في متوسط دقة التداخل (mIoU)، منها +2.49% نتيجة استخدام الصور الثنائية، و+2.33% ناتجة عن طريقة الميزات المُدركة للعمق التي اقترحناها. يمكن الوصول إلى الكود النموذجي والنماذج المُدرّبة عبر الرابط التالي: https://github.com/megvii-research/OccDepth.