360SD-Net: تقدير العمق الاستريو بزاوية 360 درجة باستخدام حجم التكلفة القابل للتعلم

في الآونة الأخيرة، حققت الشبكات العصبية العميقة القابلة للتدريب من البداية إلى النهاية تحسينات كبيرة في تقدير العمق الاستريو للصور المنظورية. ومع ذلك، لا يمكن للصور البانورامية 360 درجة التي تم التقاطها باستخدام الإسقاط الأسطواني المتساوي الطول الاستفادة مباشرة من الأساليب الحالية بسبب التشوهات المقدمة (أي أن الخطوط في الفضاء ثلاثي الأبعاد لا يتم إسقاطها على خطوط في الصورة ثنائية الأبعاد). لحل هذه المشكلة، نقدم معمارية جديدة مصممة خصيصًا للاختلاف الكروي باستخدام ترتيب أزواج الكاميرات العلوية والسفلية. بالإضافة إلى ذلك، نقترح التخفيف من مشكلة التشوه من خلال: (1) فرع إدخال إضافي يلتقط موقع وعلاقة كل بكسل في الإحداثيات الكروية، و(2) حجم تكلفة يتم بناؤه على أساس مرشح تحويل قابل للتعلم. نظرًا لنقص البيانات الاستريو البانورامية 360 درجة، جمعنا مجموعتين من البيانات البانورامية 360 درجة من Matterport3D و Stanford3D للاستخدام في التدريب والتقييم. تم تقديم العديد من التجارب والدراسات الانحدارية لتأكيد صحة طرقنا مقابل الخوارزميات الموجودة. وأخيرًا، نعرض نتائج واعدة في بيئات العالم الحقيقي عند التقاط الصور باستخدام كاميرتين بمستوى المستهلك.