SegStereo : Exploiter les informations sémantiques pour l'estimation de disparité

L'estimation de disparité pour les images stéréoscopiques binoculaires trouve une large gamme d'applications. Les algorithmes traditionnels peuvent échouer dans les régions sans caractéristiques, qui peuvent être traitées par des indices de haut niveau tels que les segments sémantiques. Dans cet article, nous proposons que l'incorporation appropriée d'indices sémantiques peut grandement corriger la prédiction dans les cadres couramment utilisés pour l'estimation de disparité. Notre méthode réalise un plongement de caractéristiques sémantiques et régularise les indices sémantiques en tant que terme de perte pour améliorer l'apprentissage de la disparité. Notre modèle unifié SegStereo utilise des caractéristiques sémantiques provenant du segmentage et introduit une perte softmax sémantique, ce qui aide à améliorer la précision de prédiction des cartes de disparité. Les indices sémantiques fonctionnent bien à la fois dans des modes non supervisés et supervisés. SegStereo obtient des résultats d'état de l'art sur le benchmark KITTI Stereo et produit des prédictions satisfaisantes sur les ensembles de données CityScapes et FlyingThings3D.