HyperAIHyperAI

Command Palette

Search for a command to run...

MarrNet : Reconstruction de formes 3D à partir de croquis 2,5D

Résumé

La reconstruction 3D d’un objet à partir d’une seule image constitue un problème fortement indéterminé, nécessitant des connaissances a priori fortes sur les formes 3D plausibles. Cela pose des défis aux approches fondées sur l’apprentissage, du fait de la rareté des annotations 3D d’objets dans les images réelles. Les travaux antérieurs ont choisi d’entraîner leurs modèles sur des données synthétiques munies d’informations 3D véritables, mais ont souffert d’un problème d’adaptation de domaine lorsqu’ils ont été testés sur des données réelles. Dans ce travail, nous proposons MarrNet, un modèle entièrement entraînable en boucle, qui estime séquentiellement des esquisses 2,5D puis la forme 3D de l’objet. Notre formulation déconnectée en deux étapes présente trois avantages. Premièrement, comparée à la forme 3D complète, la reconstruction d’esquisses 2,5D à partir d’une image 2D est nettement plus facile ; les modèles capables de restaurer des esquisses 2,5D sont également plus susceptibles de se généraliser de données synthétiques vers des données réelles. Deuxièmement, pour la reconstruction 3D à partir d’esquisses 2,5D, les systèmes peuvent apprendre exclusivement à partir de données synthétiques. En effet, il est facile de générer des esquisses 2,5D réalistes sans modéliser les variations d’apparence des objets présentes dans les images réelles, telles que l’éclairage, la texture, etc. Cela atténue davantage le problème d’adaptation de domaine. Troisièmement, nous avons dérivé des fonctions projectives différentiables reliant la forme 3D aux esquisses 2,5D ; le cadre est donc entièrement entraînable sur des images réelles, sans nécessiter d’annotations humaines. Notre modèle atteint des performances de pointe dans la reconstruction de formes 3D.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp