Réseau de correspondance stéréoscopique en pyramide

Des travaux récents ont montré que l'estimation de profondeur à partir d'un couple d'images stéréoscopiques peut être formulée comme une tâche d'apprentissage supervisé à résoudre avec des réseaux de neurones convolutifs (CNNs). Cependant, les architectures actuelles reposent sur des réseaux jumeaux basés sur des patches, manquant ainsi des moyens d'exploiter les informations contextuelles pour trouver la correspondance dans les régions mal posées. Pour résoudre ce problème, nous proposons PSMNet, un réseau de correspondance stéréoscopique pyramidal composé de deux modules principaux : le poolage pyramidal spatial et la CNN 3D. Le module de poolage pyramidal spatial tire parti de la capacité des informations contextuelles globales en agrégant le contexte à différentes échelles et positions pour former un volume de coût. La CNN 3D apprend à régulariser ce volume de coût en utilisant des réseaux en forme d'entonnoir empilés et associés à une supervision intermédiaire. L'approche proposée a été évaluée sur plusieurs jeux de données de référence. Notre méthode a occupé la première place des classements KITTI 2012 et 2015 avant le 18 mars 2018. Les codes source de PSMNet sont disponibles à l'adresse suivante : https://github.com/JiaRenChang/PSMNet.