Yinglin Duan Zhengxia Zou Tongwei Gu Wei Jia Zhan Zhao et al

Résumé

Les recherches récentes se concentrent de plus en plus sur le développement de modèles mondiaux 3D capables de simuler des scénarios réels complexes. Les modèles mondiaux trouvent des applications larges dans divers domaines, tels que l’intelligence artificielle incarnée, la conduite autonome, ou encore le divertissement. Une simulation plus réaliste, fondée sur une physique précise, permettrait efficacement de réduire l’écart entre le virtuel et le réel, et faciliterait ainsi la collecte d’informations riches sur le monde réel. Si la modélisation manuelle traditionnelle a permis la création de scènes virtuelles 3D, les approches modernes s’appuient désormais sur des algorithmes avancés d’apprentissage automatique pour générer des mondes 3D, les progrès récents se concentrant principalement sur des méthodes génératives capables de produire des mondes virtuels à partir d’instructions utilisateur. Ce travail explore cette direction de recherche en proposant LatticeWorld, un cadre de génération de mondes 3D simple mais efficace, qui rationalise la chaîne de production industrielle des environnements 3D. LatticeWorld exploite des modèles linguistiques légers (LLaMA-2-7B) combinés à un moteur de rendu de qualité industrielle (par exemple, Unreal Engine 5) afin de générer un environnement dynamique. Notre cadre proposé accepte des descriptions textuelles et des instructions visuelles en entrée multimodale, et permet de créer de vastes mondes 3D interactifs, dotés d’agents dynamiques, offrant une interaction compétitive entre plusieurs agents, une simulation physique de haute fidélité et un rendu en temps réel. Nous menons des expériences approfondies pour évaluer LatticeWorld, démontrant ainsi une précision supérieure dans la génération de la disposition des scènes et une fidélité visuelle élevée. En outre, LatticeWorld améliore de plus de 50 % l’efficacité de la production industrielle, tout en maintenant une qualité créative élevée par rapport aux méthodes de production manuelle traditionnelles. Une démonstration vidéo est disponible à l’adresse suivante : [lien URL].