Résumé

Les avancées récentes dans les modèles génératifs nativement 3D ont accéléré la création d’actifs pour les jeux vidéo, le cinéma et la conception. Toutefois, la plupart des méthodes actuelles reposent principalement sur une conditionnalité par image ou texte, et manquent de contrôles fins et multi-modaux, ce qui limite leur capacité à être maîtrisées et leur adoption pratique. Pour combler cet écart, nous présentons Hunyuan3D-Omni, un cadre unifié pour la génération contrôlée et fine d’actifs 3D, fondé sur Hunyuan3D 2.1. En plus des images, Hunyuan3D-Omni accepte comme signaux conditionnels des nuages de points, des voxels, des boîtes englobantes et des priorités de posture squelettique, permettant un contrôle précis de la géométrie, de la topologie et de la posture. Contrairement à des architectures séparées pour chaque modalité, notre modèle intègre tous les signaux dans une seule architecture multi-modale unifiée. Nous entraînons le modèle avec une stratégie d’échantillonnage progressive et consciente de la difficulté, qui sélectionne une seule modalité de contrôle par exemple et oriente l’échantillonnage vers les signaux plus complexes (par exemple, la posture squelettique) tout en réduisant le poids des signaux plus simples (par exemple, les nuages de points), favorisant ainsi une fusion robuste multi-modale et une gestion fluide des entrées manquantes. Les expérimentations montrent que ces contrôles supplémentaires améliorent la précision de la génération, permettent des transformations conscientes de la géométrie et renforcent la robustesse dans les flux de production.