الشبكة العصبية للمنظر المزدوج لتقدير العمق ثلاثي الأبعاد من منظور واحد

بالنسبة للصورة الدائرية ثلاثية الأبعاد (360 درجة) ذات العدسة الواحدة، يُعد تقدير العمق تحديًا كبيرًا نظرًا لزيادة التشوهات مع التغير في خط العرض. لفهم هذه التشوهات، اعتمدت الطرق الحالية على تصميم بنى شبكة عميقة ومعقدة. في هذه الورقة، نقدم منظورًا جديدًا يُركّز على بناء تمثيل قابل للتفسير ونادر للصورة الدائرية. وبما أن البنية الهندسية تُعد عنصرًا مهمًا في تقدير العمق، نستخدم تحويل الكونتورليت (Contourlet Transform) لاستخلاص دلالة هندسية واضحة في المجال الطيفي، ودمجها مع دلالة غير واضحة في المجال المكاني. بشكل خاص، نقترح شبكة كونتورليت عصبية تتكون من فرع شبكة عصبية تلافيفية (CNN) وفرع تحويل الكونتورليت. في مرحلة الترميز (Encoder)، نصمم وحدة تكامل مكاني-طيفي لدمج نوعين من الدلائل بشكل فعّال. على عكس المرحلة السابقة، نستخدم في مرحلة التفكيك (Decoder) تحويل الكونتورليت العكسي مع نطاقات منخفضة التردد ونطاقات اتجاهية عالية التردد مُدرّبة لتكوين تقدير العمق. أظهرت التجارب على ثلاث مجموعات بيانات شهيرة للصور الدائرية أن النهج المقترح يتفوّق على الأساليب الحالية من حيث الأداء، مع سرعة أعلى في التقارب. يمكن الوصول إلى الكود من خلال الرابط التالي: https://github.com/zhijieshen-bjtu/Neural-Contourlet-Network-for-MODE.