Google lance BlenderFusion : une révolution dans l’édition et la génération 3D par IA

Google a récemment lancé un cadre innovant appelé BlenderFusion, conçu pour repenser la création et l’édition visuelle en 3D. Ce nouvel outil répond à un besoin croissant dans le domaine de la génération d’images, notamment dans la gestion de scènes complexes où le contrôle précis des différents éléments visuels est essentiel. Bien que les réseaux antagonistes génératifs (GAN) et les modèles de diffusion aient montré leur efficacité pour produire des images globalement cohérentes, ils peinent souvent à offrir un contrôle fin sur plusieurs objets ou éléments d’un même cadre. BlenderFusion s’impose comme une solution prometteuse à cette limitation. Le fonctionnement de BlenderFusion repose sur un processus en trois étapes claires : la segmentation en couches, l’édition et la synthèse. Dans la première phase, le système analyse une image 2D d’entrée pour extraire des objets 3D pouvant être modifiés. Il s’appuie sur des modèles fondamentaux en vision par ordinateur de pointe, tels que SAM2 et DepthPro, pour identifier précisément les objets présents et estimer leur profondeur. Ces données permettent de générer des nuages de points 3D précis, constituant ainsi une base solide pour l’édition. La deuxième étape, l’édition, met à profit la puissance de Blender, un logiciel open source de modélisation 3D très répandu. Les utilisateurs peuvent désormais manipuler librement les objets 3D extraits : les déplacer, les faire pivoter, les redimensionner, ou encore modifier leurs matériaux, leurs couleurs et leurs textures. Cette flexibilité permet des ajustements fins et immédiats, dont les effets sont visibles en temps réel dans le rendu final. Enfin, la phase de synthèse fusionne le scénario 3D modifié avec le fond d’origine, en générant une image finale cohérente et de haute qualité. Pour ce faire, BlenderFusion utilise un générateur de synthèse avancé, optimisé à partir de modèles de diffusion existants. Ce générateur intègre intelligemment les informations issues de l’édition 3D ainsi que celles du contexte original, garantissant une intégration naturelle des éléments modifiés dans la scène. Grâce à cette approche intégrée, Google démontre non seulement une avancée technologique significative dans le domaine de la vision 3D, mais aussi un outil puissant et intuitif pour les créateurs, designers et artistes. BlenderFusion facilite des tâches visuelles complexes, rendant le processus de création plus fluide, précis et accessible. Le projet est disponible à l’adresse : https://blenderfusion.github.io/ En résumé : - BlenderFusion combine des outils d’édition 3D avancés avec des modèles de diffusion pour une génération visuelle efficace. - Son processus en trois étapes (segmentation, édition, synthèse) permet un contrôle granulaire des objets dans une scène. - En optimisant les modèles existants, Google améliore considérablement la gestion des scènes complexes, ouvrant la voie à de nouvelles possibilités créatives.