GC-MVSNet : Multi-Vue, Multi-Échelle, Géométriquement Cohérent Multi-View Stereo

Les méthodes traditionnelles de stéréo multi-vues (MVS) s'appuient fortement sur les contraintes de cohérence photométrique et géométrique. Cependant, les nouvelles méthodes MVS basées sur l'apprentissage automatique ne vérifient la cohérence géométrique entre plusieurs vues sources qu'en tant qu'étape de post-traitement. Dans cet article, nous présentons une approche novatrice qui encourage explicitement la cohérence géométrique des cartes de profondeur de la vue de référence à travers plusieurs vues sources à différentes échelles pendant l'apprentissage (voir Fig. 1). Nous constatons que l'ajout de cette perte de cohérence géométrique accélère considérablement l'apprentissage en pénalisant explicitement les pixels géométriquement incohérents, réduisant ainsi le nombre d'itérations d'entraînement à presque la moitié par rapport aux autres méthodes MVS. Nos expériences approfondies montrent que notre approche atteint un nouveau niveau d'excellence sur les jeux de données DTU et BlendedMVS, et obtient des résultats compétitifs sur le benchmark Tanks and Temples. Selon nos connaissances, GC-MVSNet est la première tentative visant à imposer une cohérence géométrique multi-vues et multi-échelles pendant l'apprentissage.