OmniPart : Génération 3D prenant en compte les parties avec découplage sémantique et cohésion structurelle

La création d'actifs 3D dotés de structures de parties explicites et éditables est cruciale pour l'avancement des applications interactives, mais la plupart des méthodes génératives produisent uniquement des formes monolithiques, limitant ainsi leur utilité. Nous présentons OmniPart, un cadre novateur pour la génération d'objets 3D conscients des parties, conçu pour atteindre une forte découplage sémantique entre les composants tout en maintenant une cohésion structurelle robuste. OmniPart décompose de manière unique cette tâche complexe en deux étapes synergieuses : (1) un module de planification structurelle autoregressive génère une séquence contrôlable de longueur variable de boîtes englobantes 3D pour les parties, guidée de manière critique par des masques 2D flexibles qui permettent un contrôle intuitif de la décomposition des parties sans nécessiter des correspondances directes ou des étiquettes sémantiques ; et (2) un modèle de flux rectifié conditionné spatialement, adapté efficacement à partir d'un générateur 3D holistique pré-entraîné, synthétise simultanément et de manière cohérente toutes les parties 3D dans le cadre prévu. Notre approche prend en charge la granularité des parties définie par l'utilisateur, la localisation précise et permet diverses applications downstream (en aval). Des expériences approfondies montrent que OmniPart atteint des performances de pointe, ouvrant la voie à un contenu 3D plus interprétable, éditable et polyvalent.