ستيريو نت: التحسين الهرمي الموجه للتنبؤ بالعمق بوعي الحواف في الوقت الفعلي

يقدم هذا البحث نظام StereoNet، وهو أول هندسة عميقة من النهاية إلى النهاية لتطابق الصور الاستريو في الوقت الحقيقي الذي يعمل بمعدل 60 إطارًا في الثانية على بطاقة NVidia Titan X، مما ينتج خرائط تباين ذات جودة عالية وحفظ الحواف وخالية من التكميم. الفكرة الرئيسية لهذا البحث هي أن الشبكة تحقق دقة مطابقة فرعية للبكسل أعلى بكثير من تلك التي تحققها طرق التطابق الاستريو التقليدية. هذا يسمح لنا بتحقيق أداء في الوقت الحقيقي باستخدام حجم تكلفة بدقة منخفضة جدًا يشفر جميع المعلومات اللازمة لتحقيق دقة التباين العالية. يتم تحقيق الدقة المكانية من خلال استخدام دالة رفع دقيق للحواف تم تعلمها. يستخدم نموذجنا شبكة ساميزية (Siamese) لاستخراج الخصائص من الصورة اليسرى والصورة اليُمنى. يتم حساب تقدير أولي للتباين في حجم تكلفة بدقة منخفضة جدًا، ثم بشكل هرمي يقوم النموذج بإعادة إدخال التفاصيل ذات التردد العالي عبر دالة رفع تم تعلمها والتي تستفيد من شبكات التحسين البكسلية المدمجة. باستغلال الإدخال اللوني كدليل، تكون هذه الدالة قادرة على إنتاج مخرجات عالية الجودة ودقيقة للحواف. نحن نحقق نتائج مقنعة على عدة مقاييس، مما يظهر كيف يقدم الطريقة المقترحة مرونة متطرفة ضمن ميزانية حوسبة قابلة للقبول.