RigNet: شبكة موجهة بالصورة المتكررة لاستكمال العمق

يُعنى إكمال العمق بحل مشكلة استعادة خرائط العمق الكثيفة من خرائط عمق متباعدة، حيث تُستخدم غالبًا الصور الملونة لتسهيل هذه المهمة. تركز الطرق الحديثة بشكل رئيسي على أطر العمل الموجهة بالصورة لتوقع خرائط العمق الكثيفة. ومع ذلك، لا يزال التوجيه الضبابي في الصورة والبنية غير الواضحة في خريطة العمق يُعوقان أداء الأطر الموجهة بالصورة. ولحل هذه المشكلات، نستكشف تصميمًا متكررًا في شبكتنا الموجهة بالصورة، بهدف استعادة قيم العمق بشكل تدريجي وشامل. وبشكل محدد، يتجسّد التكرار في كل من فرع التوجيه بالصورة وفرع إنتاج العمق. في الفرع الأول، نصمم شبكة "ساعة رملية متكررة" لاستخلاص ميزات صورية تمييزية في البيئات المعقدة، والتي توفر توجيهًا سياقيًا قويًا لتنبؤ العمق. أما في الفرع الثاني، نُقدّم وحدة توجيه متكررة تعتمد على الت convolution الديناميكي، حيث نقترح تجزئة تلافيفية فعالة لتقليل التعقيد في الوقت نفسه، ونمذجة تدريجية للهياكل عالية التردد. تُظهر التجارب الواسعة أن طريقة التوصيف تحقق نتائج متفوقة أو تنافسية على معيار KITTI وبيانات NYUv2.