الانتشار الديناميكي للرسائل المُشَرَّطة بالعمق للكشف عن الكائنات ثلاثية الأبعاد من صورة واحدة

يهدف هذا البحث إلى تعلّم تمثيل سياقي واعٍ بالعمق لحل مشكلة الكشف عن الأجسام ثلاثية الأبعاد من صورة واحدة. ونقدم المساهمات التالية: (i) بدلًا من اللجوء إلى النهج المعقد القائم على "الليدار الظاهري" (pseudo-LiDAR)، نقترح شبكة انتشار رسالة ديناميكية مُشَرَّطة بالعمق (DDMP) لدمج معلومات العمق متعددة المقاييس بشكل فعّال مع السياق الصوري؛ (ii) يتم تحقيق ذلك من خلال أخذ عينات تلقائية لعناصر مُراعية للسياق من السياق الصوري أولاً، ثم التنبؤ الديناميكي بوزن مرشحات مختلطة تعتمد على العمق ومركبات الترابط (affinity matrices) لنقل المعلومات؛ (iii) من خلال تعزيز مهمة ترميز عمق واعٍ بالمركز (CDE)، نجحنا في تخفيف تحيّز العمق غير الدقيق؛ (iv) ونُظهر بشكل شامل فعالية النهج المقترح، ونُظهر نتائج تفوق المستوى الرائد بين الطرق القائمة على الصور الواحدة على مجموعة بيانات KITTI. وبشكل خاص، حصلنا على المرتبة الأولى في مسار الكشف عن الأجسام ثلاثية الأبعاد من صورة واحدة في KITTI، وهو مسار تنافسي للغاية، في يوم التقديم (16 نوفمبر 2020). تم إتاحة الكود والنموذج على الرابط: \url{https://github.com/fudan-zvg/DDMP}