Apprendre à Restituer la Forme de la Scène 3D à Partir d'une Seule Image

Malgré des progrès significatifs dans l'estimation de profondeur monoculaire en conditions réelles, les méthodes les plus récentes et performantes ne peuvent pas être utilisées pour recréer une forme 3D de scène précise en raison d'un décalage de profondeur inconnu induit par les pertes de reconstruction invariantes aux décalages utilisées lors de la formation pour prédire la profondeur à partir de données mixtes, ainsi que d'une distance focale de caméra éventuellement inconnue. Nous examinons ce problème en détail et proposons un cadre en deux étapes qui prédit d'abord la profondeur à une échelle et un décalage inconnus à partir d'une seule image monoculaire, puis utilise des encodeurs de nuages de points 3D pour prédire le décalage de profondeur manquant et la distance focale, nous permettant ainsi de recréer une forme 3D réaliste de la scène. De plus, nous proposons une perte de régression normalisée au niveau des images et une perte géométrique basée sur les normales pour améliorer les modèles d'estimation de profondeur formés sur des jeux de données mixtes. Nous testons notre modèle de profondeur sur neuf jeux de données non vus et obtenons des performances d'état de l'art en généralisation sur des jeux de données inconnus (zero-shot). Le code est disponible à l'adresse suivante : https://git.io/Depth