HyperAIHyperAI

Command Palette

Search for a command to run...

SPATIALGEN : Génération de scènes intérieures 3D guidée par la disposition

Chuan Fang Heng Li Yixun Liang Jia Zheng Yongsen Mao Yuan Liu Rui Tang Zihan Zhou Ping Tan

Résumé

La création de modèles 3D de haute fidélité d’environnements intérieurs est essentielle pour des applications en conception, réalité virtuelle et robotique. Toutefois, la modélisation 3D manuelle reste longue et exigeante en ressources humaines. Bien que les progrès récents dans le domaine de l’intelligence artificielle générative aient permis une synthèse automatisée des scènes, les méthodes existantes peinent souvent à concilier qualité visuelle, diversité, cohérence sémantique et contrôle utilisateur. Un obstacle majeur réside dans l’absence d’un jeu de données à grande échelle et de haute qualité spécifiquement conçu pour cette tâche. Pour combler ce manque, nous introduisons un jeu de données synthétique complet, comprenant 12 328 scènes structurées annotées, 57 440 pièces et 4,7 millions de rendus 2D photoréalistes. Grâce à ce jeu de données, nous proposons SpatialGen, un nouveau modèle de diffusion multi-vues et multi-modales, capable de générer des scènes intérieures 3D réalistes et sémantiquement cohérentes. Étant donné une disposition 3D et une image de référence (extraite d’un prompt textuel), notre modèle synthétise simultanément l’apparence (image couleur), la géométrie (carte de coordonnées de scène) et la sémantique (carte de segmentation sémantique) à partir de tout point de vue, tout en préservant une cohérence spatiale entre les différentes modalités. Dans nos expériences, SpatialGen produit systématiquement des résultats supérieurs à ceux des méthodes antérieures. Nous mettons à disposition librement notre jeu de données et nos modèles afin de soutenir la communauté et d’avancer le domaine de la compréhension et de la génération de scènes intérieures.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
SPATIALGEN : Génération de scènes intérieures 3D guidée par la disposition | Articles | HyperAI