MoCha-Stereo : Réseau de canaux d'attention de motifs pour le matching stéréoscopique

Les techniques de correspondance stéréoscopique basées sur l'apprentissage ont connu des progrès significatifs. Cependant, les méthodes existantes perdent inévitablement des informations sur la structure géométrique lors du processus de génération des canaux de caractéristiques, ce qui entraîne des erreurs de correspondance dans les détails des contours. Dans cet article, nous avons conçu le réseau de correspondance stéréoscopique à attention par canal motif (MoCha-Stereo) pour résoudre ce problème. Nous proposons le volume de corrélation par canal motif (MCCV) afin de déterminer des coûts de correspondance plus précis aux contours. Le MCCV est obtenu en projetant les canaux motifs, qui captent les structures géométriques communes dans les canaux de caractéristiques, sur les cartes de caractéristiques et les volumes de coût. De plus, les variations des contours dans les canaux de caractéristiques potentiels de la carte d'erreur de reconstruction influencent également la correspondance des détails. Nous proposons donc le module pénalité motif d'erreur de reconstruction (REMP) pour affiner davantage l'estimation complète à pleine résolution du décalage stéréoscopique. Le REMP intègre l'information fréquentielle des caractéristiques typiques issues de l'erreur de reconstruction. MoCha-Stereo occupe la première place sur les classements KITTI-2015 et KITTI-2012 Reflective. Notre structure montre également d'excellentes performances en stéréoscopie multi-vue. Le code source est disponible à l'adresse suivante : https://github.com/ZYangChen/MoCha-Stereo.