StereoNet : Affinage hiérarchique guidé pour la prédiction de profondeur en temps réel avec prise en compte des contours

Ce document présente StereoNet, la première architecture profonde de bout en bout pour le matching stéréoscopique en temps réel, capable d'atteindre 60 images par seconde sur une NVidia Titan X, produisant des cartes de disparité de haute qualité, préservant les contours et exemptes de quantification. Une idée clé de ce travail est que le réseau atteint une précision de matching sous-pixelaire qui est d'un ordre de grandeur supérieur à celle des approches traditionnelles de matching stéréoscopique. Cela nous permet d'atteindre des performances en temps réel en utilisant un volume de coût à très faible résolution qui encode toutes les informations nécessaires pour obtenir une précision élevée de disparité. La précision spatiale est réalisée grâce à l'utilisation d'une fonction d'échantillonnage ascendant sensible aux contours apprise par le modèle. Notre modèle utilise un réseau jumeau (Siamese network) pour extraire des caractéristiques des images gauche et droite. Une première estimation de la disparité est calculée dans un volume de coût à très faible résolution, puis hiérarchiquement, le modèle reintroduit les détails à haute fréquence spatiale grâce à une fonction d'échantillonnage ascendant apprise qui utilise des réseaux de raffinement pixel-à-pixel compacts. En exploitant l'entrée couleur comme guide, cette fonction est capable de produire une sortie de haute qualité sensible aux contours. Nous obtenons des résultats convaincants sur plusieurs benchmarks, montrant comment la méthode proposée offre une flexibilité extrême avec un budget computationnel acceptable.