Apprendre le stéréo, inférer le mono : Réseaux jumeaux pour l'estimation de profondeur monulaire auto-supervisée

Le domaine de l'estimation de profondeur monoculaire auto-supervisée a connu d'importants progrès ces dernières années. La plupart des méthodes supposent que des données stéréoscopiques sont disponibles lors de l'entraînement, mais elles les utilisent généralement de manière insuffisante et ne les considèrent que comme un signal de référence. Nous proposons une nouvelle approche auto-supervisée qui utilise les images gauche et droite de manière équivalente pendant l'entraînement, tout en pouvant fonctionner avec une seule image d'entrée lors des tests pour l'estimation de profondeur monoculaire. Notre architecture de réseau Siamese est composée de deux réseaux jumeaux, chacun apprenant à prédire une carte de disparité à partir d'une seule image. Lors des tests, cependant, seul l'un de ces réseaux est utilisé pour inférer la profondeur. Nous présentons des résultats d'état de l'art sur le benchmark standard KITTI Eigen split ainsi que la meilleure performance parmi les méthodes auto-supervisées sur le nouveau benchmark KITTI single view. Pour démontrer la capacité de notre méthode à généraliser à de nouveaux ensembles de données, nous fournissons également des résultats sur le benchmark Make3D, qui n'a pas été utilisé lors de l'entraînement.