SemAttNet: نحو إكمال العمق الموجه بالوعي بالسياق القائم على الانتباه

تتمثل مهمة استكمال العمق في استعادة خريطة عمق كثيفة من خريطة عمق نادرة وصورة RGB. تركز الطرق الحديثة على استخدام الصور اللونية كصور توجيهية لاستعادة العمق عند النقاط غير الصالحة. ومع ذلك، فإن الصور اللونية وحدها ليست كافية لتوفير الفهم الشماعي الضروري للمنظر. ونتيجة لذلك، تعاني مهمة استكمال العمق من التغيرات المفاجئة في الإضاءة في الصور RGB (مثل الظلال). في هذا البحث، نقترح هيكلًا ثلاثي الفروع جديدًا يتكون من فروع موجهة بالألوان، وموجهة بالمعنى، وموجهة بالعمق. وبشكل خاص، يأخذ الفرع الموجه بالألوان خريطة عمق نادرة وصورة RGB كمدخلات ويُنتج خريطة عمق لونيّة تحتوي على مؤشرات لونية (مثل حدود الكائنات) للمنظر. ثم تُقدَّم خريطة العمق الكثيفة المُقدَّرة من الفرع الموجه بالألوان مع الصورة المعنوية وخارطة العمق النادرة كمدخلات للفرع الموجه بالمعنى لتقدير خريطة عمق معنوية. أما الفرع الموجه بالعمق، فيأخذ خرائط العمق النادرة واللونية والمعنوية لإنتاج خريطة عمق كثيفة. وتفُقَّد خرائط العمق اللونيّة، والمعنوية، والمضمونة بشكل تكيفي لإنتاج الناتج الخاص بالهيكل الثلاثي الفروع المُقترح. بالإضافة إلى ذلك، نقترح تطبيق كتلة دمج متعددة الوسائط قائمة على الانتباه المُدرك للمعنى (SAMMAFB) لدمج الميزات بين جميع الفروع الثلاثة. ونستخدم أيضًا CSPN++ مع التحويلات المُتعددة (Atrous convolutions) لتحسين خريطة العمق الكثيفة الناتجة عن الهيكل الثلاثي الفروع. وأظهرت التجارب الواسعة أداءً متميزًا على مستوى الحد الأقصى في معيار استكمال العمق KITTI عند وقت التقديم.