Pixel2Mesh : Génération de modèles maillés 3D à partir d'images RGB uniques

Nous proposons une architecture de deep learning de bout en bout qui génère une forme 3D sous forme de maillage triangulaire à partir d'une seule image couleur. En raison des limitations inhérentes aux réseaux neuronaux profonds, les méthodes précédentes représentaient généralement une forme 3D par un volume ou un nuage de points, et il n'était pas trivial de les convertir en un modèle de maillage plus utilisable. Contrairement aux méthodes existantes, notre réseau représente le maillage 3D dans un réseau neuronal convolutif basé sur les graphes et produit une géométrie correcte en déformant progressivement un ellipsoïde, en exploitant les caractéristiques perceptuelles extraites de l'image d'entrée. Nous adoptons une stratégie allant du grossier au fin pour stabiliser l'ensemble du processus de déformation, et définissons diverses pertes liées au maillage pour capturer des propriétés à différents niveaux, garantissant ainsi une géométrie 3D à la fois visuellement attrayante et physiquement précise. De nombreuses expériences montrent que notre méthode non seulement produit qualitativement des modèles de maillage avec plus de détails, mais atteint également une meilleure précision d'estimation de forme 3D par rapport à l'état de l'art.