Apprentissage de la géométrie et du contexte de bout en bout pour la régression stéréoscopique profonde

Nous proposons une nouvelle architecture d'apprentissage profond pour la régression de disparité à partir d'une paire d'images stéréoscopiques rectifiées. Nous exploitons les connaissances géométriques du problème pour former un volume de coût en utilisant des représentations de caractéristiques profondes. Nous apprenons à incorporer des informations contextuelles en appliquant des convolutions 3D sur ce volume. Les valeurs de disparité sont régressées à partir du volume de coût en utilisant une opération d'argmin doux différentiable proposée, ce qui nous permet de former notre méthode de manière end-to-end avec une précision sous-pixel sans aucun traitement postérieur ou régularisation supplémentaire. Nous évaluons notre méthode sur les jeux de données Scene Flow et KITTI, et sur KITTI, nous établissons un nouveau point de référence de l'état de l'art, tout en étant significativement plus rapide que les approches concurrentes.