Command Palette
Search for a command to run...
MarrNet : Reconstruction de formes 3D à partir de croquis 2,5D
MarrNet : Reconstruction de formes 3D à partir de croquis 2,5D
Résumé
La reconstruction 3D d’un objet à partir d’une seule image constitue un problème fortement indéterminé, nécessitant des connaissances a priori fortes sur les formes 3D plausibles. Cela pose des défis aux approches fondées sur l’apprentissage, du fait de la rareté des annotations 3D d’objets dans les images réelles. Les travaux antérieurs ont choisi d’entraîner leurs modèles sur des données synthétiques munies d’informations 3D véritables, mais ont souffert d’un problème d’adaptation de domaine lorsqu’ils ont été testés sur des données réelles. Dans ce travail, nous proposons MarrNet, un modèle entièrement entraînable en boucle, qui estime séquentiellement des esquisses 2,5D puis la forme 3D de l’objet. Notre formulation déconnectée en deux étapes présente trois avantages. Premièrement, comparée à la forme 3D complète, la reconstruction d’esquisses 2,5D à partir d’une image 2D est nettement plus facile ; les modèles capables de restaurer des esquisses 2,5D sont également plus susceptibles de se généraliser de données synthétiques vers des données réelles. Deuxièmement, pour la reconstruction 3D à partir d’esquisses 2,5D, les systèmes peuvent apprendre exclusivement à partir de données synthétiques. En effet, il est facile de générer des esquisses 2,5D réalistes sans modéliser les variations d’apparence des objets présentes dans les images réelles, telles que l’éclairage, la texture, etc. Cela atténue davantage le problème d’adaptation de domaine. Troisièmement, nous avons dérivé des fonctions projectives différentiables reliant la forme 3D aux esquisses 2,5D ; le cadre est donc entièrement entraînable sur des images réelles, sans nécessiter d’annotations humaines. Notre modèle atteint des performances de pointe dans la reconstruction de formes 3D.