Abstract

Neue Fortschritte in 3D-nativen generativen Modellen haben die Erstellung von Assets für Spiele, Film und Design beschleunigt. Allerdings beruhen die meisten Methoden nach wie vor primär auf Bild- oder Textbedingungen und verfügen über feinabgestimmte, mehrmodal kontrollierbare Steuerungselemente, was die Kontrollierbarkeit und praktische Anwendung einschränkt. Um diese Lücke zu schließen, stellen wir Hunyuan3D-Omni vor, einen einheitlichen Rahmen für feinabgestimmte, kontrollierbare Generierung von 3D-Assets, der auf Hunyuan3D 2.1 basiert. Neben Bildern akzeptiert Hunyuan3D-Omni zusätzlich Punktwolken, Voxel-Daten, Achsenparallele Boxen und skelettale Pose-Priorisierungen als Bedingungs-Signale, was eine präzise Kontrolle über Geometrie, Topologie und Pose ermöglicht. Anstatt separate Ausgabeköpfe für jede Modalität zu verwenden, integriert unser Modell alle Signale in einer einheitlichen, mehrmodalen Architektur. Wir trainieren mit einer fortschreitenden, Schwierigkeitsbewussten Sampling-Strategie, die für jedes Beispiel genau eine Steuerungsmodalität auswählt und die Auswahl stärker auf anspruchsvollere Signale (z. B. skelettale Pose) ausrichtet, während einfacher zu verarbeitende Signale (z. B. Punktwolken) abgeschwächt werden. Dadurch wird eine robuste mehrmodale Fusion gefördert und die Behandlung fehlender Eingaben ermöglicht. Experimente zeigen, dass diese zusätzlichen Kontrollmöglichkeiten die Genauigkeit der Generierung verbessern, geometriebewusste Transformationen ermöglichen und die Robustheit für produktionsreife Workflows erhöhen.