Command Palette
Search for a command to run...
HunyuanWorld 1.0 : Génération de mondes 3D immersifs, explorables et interactifs à partir de mots ou de pixels
HunyuanWorld 1.0 : Génération de mondes 3D immersifs, explorables et interactifs à partir de mots ou de pixels
HunyuanWorld Team Zhenwei Wang Yuhao Liu Junta Wu Zixiao Gu Haoyuan Wang Xuhui Zuo et al
Résumé
La création de mondes 3D immersifs et interactifs à partir de textes ou d’images demeure un défi fondamental en vision par ordinateur et en graphisme informatique. Les approches existantes de génération de mondes se divisent généralement en deux catégories : les méthodes basées sur des vidéos, qui offrent une grande diversité mais souffrent d’un manque de cohérence 3D et d’une inefficacité en rendu, et les méthodes basées sur des données 3D, qui garantissent une cohérence géométrique mais peinent face à des données d’entraînement limitées et à des représentations mémoire-intensives. Pour surmonter ces limitations, nous présentons HunyuanWorld 1.0, un cadre novateur qui combine les avantages des deux approches afin de générer des scènes 3D immersives, explorables et interactives à partir de conditions textuelles ou visuelles. Notre méthode présente trois avantages clés : 1) des expériences immersives à 360° grâce à des proxies mondiaux panoramiques ; 2) la possibilité d’exporter des maillages pour une intégration fluide dans les pipelines graphiques existants ; 3) des représentations d’objets désentrelacées, favorisant une interactivité renforcée. Le cœur de notre cadre repose sur une représentation 3D par maillage à couches sémantiques, qui utilise des images panoramiques comme proxies mondiaux à 360° pour une décomposition et une reconstruction sémantiquement conscientes du monde, permettant ainsi la génération de mondes 3D variés. Des expériences étendues démontrent que notre méthode atteint un niveau d’performance optimal dans la génération de mondes 3D cohérents, explorables et interactifs, tout en ouvrant la voie à des applications diversifiées dans le domaine de la réalité virtuelle, de la simulation physique, du développement de jeux vidéo et de la création de contenus interactifs.