H-Net: تقدير عمق الاستereo القائم على الانتباه دون تدريب، مستفيدًا من الهندسة الإبيبولية

أصبحت تقدير العمق من زوج صور ستيريو واحدة من أكثر التطبيقات استكشافاً في رؤية الحاسوب، حيث اعتمدت معظم الطرق السابقة على بيئات التعلم المُشرَّف بالكامل. ومع ذلك، نظراً لصعوبة الحصول على بيانات حقيقية دقيقة وقابلة للتوسع، فإن تدريب الطرق المُشرَّفة بالكامل يواجه تحديات كبيرة. كحل بديل، أصبحت الطرق ذاتية التعلم أكثر انتشاراً لتقليل هذه التحديات. في هذه الورقة، نقدّم H-Net، وهي إطار عمل قائمة على التعلم العميق لتقدير العمق ستيريو غير مُشرَّف، يعتمد على الهندسة الإبيبولية لتحسين المطابقة بين الصور الستيريو. لأول مرة، يتم استخدام بنية مُؤوَّر مُتَوَزِّن (Siamese autoencoder) لتقدير العمق، مما يسمح باستخلاص المعلومات المتبادلة بين الصور الستيريو المُعَدَّلة. ولإجبار القيود الإبيبولية، تم تصميم آلية انتباه إبيبولية متبادلة، تُعطي أولوية أكبر للمطابقات الخاصة بالسمات التي تقع على نفس الخط الإبيبولية أثناء تعلم المعلومات المتبادلة بين زوج الصور المدخلة. كما تم تعزيز مطابقات الصور الستيريو من خلال دمج معلومات معنوية في آلية الانتباه المقترحة. وبشكل أكثر تحديداً، تُستخدم خوارزمية النقل الأمثل (optimal transport) لقمع الانتباه وإزالة النقاط الشاذة في المناطق غير المرئية في كلا الكاميرتين. أظهرت التجارب الواسعة على مجموعتي بيانات KITTI2015 وCityscapes أن طريقةنا تتفوّق على أحدث الطرق غير المُشرَّفة لتقدير العمق الستيريو، مع تقليل الفجوة بينها وبين الطرق المُشرَّفة بالكامل.