بانوفورمر: تحويلة الأفق للتقدير الداخلي لعمق 360 درجة

الطرق الحالية لتقدير العمق في الصور البيانية (panoramic) المستندة إلى الشبكات العصبية التلافيفية (CNN) تركز على إزالة التشوهات البيانية، ولكنها تفشل في استشعار الهياكل البيانية بكفاءة بسبب المجال الاستقبال الثابت في الشبكات العصبية التلافيفية. تُقدّم هذه الورقة نموذجًا يُسمى "بانوفورمر" (PanoFormer) لتقدير العمق في الصور البيانية، يعتمد على لوحات مماسية من المجال الكروي، وتدفقات رموز قابلة للتعلم، ومقاييس مخصصة للصور البيانية. وبشكل خاص، نقوم بتقسيم اللوحات على المجال المماسي الكروي إلى رموز (tokens) لتقليل التأثير السلبي للتشوهات البيانية. وبما أن الهياكل الهندسية تُعدّ عنصرًا أساسيًا في تقدير العمق، قمنا بإعادة تصميم وحدة الانتباه الذاتي (self-attention) بإضافة تدفق رموز قابل للتعلم. بالإضافة إلى ذلك، وبمراعاة الخصائص المميزة للنطاق الكروي، نقدّم معيارين مخصصين للصور البيانية لتقييم أداء نماذج تقدير العمق في الصور البيانية بشكل شامل. تُظهر التجارب الواسعة أن النهج المُقترح يتفوّق بشكل ملحوظ على الطرق المتطورة حديثًا (SOTA). علاوةً على ذلك، يمكن توسيع هذا النهج بشكل فعّال لحل مسألة التجزئة البصرية للصور البيانية (semantic panorama segmentation)، وهي مهمة مشابهة لتحويل البكسل إلى بكسل. سيتم إتاحة الكود المصدري.