HyperAI
vor 4 Tagen

OmniPart: Partbewusste 3D-Generierung mit semantischer Dekopplung und struktureller Kohäsion

Yunhan Yang, Yufan Zhou, Yuan-Chen Guo, Zi-Xin Zou, Yukun Huang, Ying-Tian Liu, Hao Xu, Ding Liang, Yan-Pei Cao, Xihui Liu
OmniPart: Partbewusste 3D-Generierung mit semantischer Dekopplung und struktureller Kohäsion
Abstract

Die Erstellung von 3D-Assets mit expliziten, bearbeitbaren Teilkonstruktionen ist entscheidend für den Fortschritt interaktiver Anwendungen. Dennoch produzieren die meisten generativen Methoden nur monolithische Formen, was ihre Nutzbarkeit einschränkt. Wir stellen OmniPart vor, ein neues Framework zur teilspezifischen Generierung von 3D-Objekten, das darauf abzielt, eine hohe semantische Entkoppelung der Komponenten zu erreichen, während es gleichzeitig eine robuste strukturelle Kohäsion aufrechterhält.OmniPart entkoppelt diese komplexe Aufgabe einzigartig in zwei synergetische Phasen: (1) Ein autoregressives Strukturplanungsmodul erzeugt eine steuerbare, variabel lange Sequenz von 3D-Teilbegrenzungsboxen, die durch flexible 2D-Teilmasken kritisch geleitet werden. Diese Masken ermöglichen eine intuitive Kontrolle über die Teildarstellung ohne direkte Korrespondenzen oder semantische Labels zu erfordern; und (2) ein räumlich konditionierter Rektifizierungsflussmodell, das effizient aus einem vorgefertigten holistischen 3D-Generator angepasst wurde, synthetisiert alle 3D-Teile gleichzeitig und konsistent innerhalb des geplanten Layouts.Unser Ansatz unterstützt benutzerdefinierte Teilfeinheit, präzise Lokalisierung und ermöglicht vielfältige nachgelagerte Anwendungen. Umfangreiche Experimente zeigen, dass OmniPart den Stand der Technik erreicht und damit den Weg für interpretierbarere, bearbeitbarere und vielseitigere 3D-Inhalte ebnen kann.