بانوديبث: نهج ثنائي المرحلة لتقدير العمق الأحادي للمناظر الدائرية

البيانات ثلاثية الأبعاد الشاملة ضرورية لعدد كبير من التطبيقات مثل الواقع الافتراضي والقيادة الذاتية والروبوتات، إلخ. في هذا البحث، نقترح نموذجًا جديدًا وعامًا بالنسبة للنماذج (model-agnostic) ويتكون من مرحلتين لتقدير العمق من منظور واحد في الصور المحيطية (omnidirectional monocular depth estimation). يعتمد الإطار المقترح، المسمى PanoDepth، على إدخال صورة 360 درجة واحدة، حيث يُنتج في المرحلة الأولى صورًا مُصوَّرة مُعاد توليدَها ( synthesized views ) واحدة أو أكثر، ثم يُرسل كل من الصورة الأصلية والصور المُعاد توليدَها إلى المرحلة الثانية التي تُعنى بتطابق الأحادية (stereo matching). وفي المرحلة الثانية، نقترح طبقة تدوير كروية قابلة للتفاضل (differentiable Spherical Warping Layer) للتعامل بكفاءة وفعالية مع الهندسة الثلاثية الأبعاد المحيطية للتطابق الأحادي. وباستخدام القيود الهندسية القائمة على التطابق الأحادي بشكل صريح في المرحلة الثانية، يمكن 통بيذ PanoDepth إنتاج خريطة عمق كثيفة وعالية الجودة. أجرينا تجارب واسعة ودراسات تحليلية (ablation studies) لتقييم أداء PanoDepth سواءً من خلال النموذج الكامل أو من خلال كل وحدة من الوحدات الفردية في كل مرحلة. وتبين النتائج أن PanoDepth يتفوق على أحدث الطرق المطورة بفارق كبير في تقدير عمق الصور المحيطية ذات المنظور الواحد.