iDisc : Discrétisation Interne pour l'Estimation de Profondeur Monoœilique

L'estimation de profondeur monoculaire est fondamentale pour la compréhension des scènes en 3D et les applications dérivées. Cependant, même dans un cadre supervisé, elle reste un défi et un problème mal posé en raison du manque de contraintes géométriques complètes. Bien qu'une scène puisse être composée de millions de pixels, il existe moins de motifs de haut niveau. Nous proposons iDisc pour apprendre ces motifs à l'aide de représentations discrétisées internes. La méthode partitionne implicitement la scène en un ensemble de motifs de haut niveau. En particulier, notre nouveau module, la Discrétisation Interne (ID), met en œuvre une bouteille d'étranglement continue-discrète-continue pour apprendre ces concepts sans supervision. Contrairement aux méthodes les plus avancées actuellement disponibles, le modèle proposé ne force aucune contrainte ou priorité explicite sur la sortie de profondeur. Grâce au module bouteille d'étranglement basé sur l'attention, le réseau entier avec le module ID peut être entraîné de manière end-to-end. Notre méthode établit un nouveau standard avec des améliorations significatives sur NYU-Depth v2 et KITTI, surpassant toutes les méthodes publiées sur le banc d'essai officiel KITTI. iDisc peut également obtenir des résultats d'état de l'art dans l'estimation des normales de surface. De plus, nous explorons la capacité de généralisation du modèle par des tests zéro-shot. Nous constatons une nécessité impérieuse de promouvoir la diversification dans les scénarios extérieurs. Ainsi, nous introduisons des divisions de deux jeux de données d'autonomie routière, DDAD et Argoverse. Le code est disponible à l'adresse http://vis.xyz/pub/idisc .