SegStereo: استغلال المعلومات الدلالية لتقدير التباين

تقدير الاختلاف في الصور الاستريو الثنائية له تطبيقات متنوعة على نطاق واسع. قد تفشل الخوارزميات التقليدية في المناطق الخالية من الميزات، والتي يمكن التعامل معها باستخدام أدلة عليا مثل المقاطع الدلالية (semantic segments). في هذا البحث، نقترح أن دمج الأدلة الدلالية بشكل مناسب يمكن أن يصحح التنبؤ بشكل كبير في الإطارات المستخدمة بشكل شائع لتقدير الاختلاف. طريقتنا تقوم بدمج الميزات الدلالية وتُنظم الأدلة الدلالية كمصطلح خسارة لتحسين تعلم الاختلاف. يستخدم نموذجنا الموحد SegStereo الميزات الدلالية من التقطيع ويُدخل خسارة softmax الدلالية، مما يساعد على تحسين دقة التنبؤ بخرائط الاختلاف. تعمل الأدلة الدلالية بكفاءة عالية سواءً بطريقة غير مراقبة أو بطريقة مراقبة. حقق SegStereo نتائجًا رائدة على معيار KITTI Stereo وأنتج تنبؤات جيدة على كلٍ من مجموعات البيانات CityScapes و FlyingThings3D.