PENet: نحو إكمال عمق موجه بالصورة بدقة وكفاءة

يُعدّ التكميل العمودي الموجه بالصورة المهمة هي إنشاء خريطة عمق كثيفة من خريطة عمق نادرة مع صورة ذات جودة عالية. في هذه المهمة، يلعب دمج الوسائط اللونية والعمودية دورًا مهمًا في تحقيق أداء ممتاز. يقترح هذا البحث هيكلًا أساسيًا ثنائي الفرع يتكون من فرع يهيمن عليه اللون وآخر يهيمن عليه العمق، بهدف استغلال دمج الوسائط بشكل شامل. وبشكل أكثر تحديدًا، يدخل أحد الفرعين صورة لونية وخرائط عمق نادرة للتنبؤ بخريطة عمق كثيفة. أما الفرع الآخر، فيأخذ كمدخلات خريطة عمق نادرة وخريطة عمق مُتنبأ بها سابقًا، ويُخرِج خريطة عمق كثيفة أيضًا. وتكون الخرائط المتنبأ بها من الفرعين مكملة لبعضها البعض، وبالتالي يتم دمجها بشكل تكيفي. علاوة على ذلك، نقترح طبقة تقارب هندسي بسيطة لترميز الإشارات الهندسية الثلاثية الأبعاد. ويقوم الهيكل المُشفّر بالهندسة بدمج الوسائط المختلفة على مراحل متعددة، مما يؤدي إلى نتائج ممتازة في تكميل العمق. كما نُنفّذ بشكل مُوسّع ومتسرّع طبقة CSPN++ لتحسين خريطة العمق المدمجة بكفاءة. ويُصنف النموذج الكامل المقترح في المرتبة الأولى في قائمة التصنيف المباشر لمشروع KITTI لتكميل العمق عند وقت التقديم. كما يُنفّذ بشكل أسرع بكثير مقارنةً بأغلب الطرق المصنفة في المراكز العُليا. ويمكن الاطلاع على كود هذا العمل من خلال الرابط التالي: https://github.com/JUGGHM/PENet_ICRA2021.