HyperAIHyperAI

Command Palette

Search for a command to run...

BlenderFusion : Édition visuelle basée sur le 3D et composition générative

Chen Jiacheng Mehran Ramin Jia Xuhui Xie Saining Woo Sanghyun

Résumé

Nous présentons BlenderFusion, un cadre de composition visuelle générative qui synthétise de nouvelles scènes en recomposant des objets, une caméra et un arrière-plan. Ce système suit un pipeline de stratification-édition-composition : (i) la segmentation et la conversion des entrées visuelles en entités 3D éditables (stratification), (ii) l'édition de ces entités dans Blender avec un contrôle ancré en 3D (édition), et (iii) leur fusion en une scène cohérente à l'aide d'un compositeur génératif (composition). Notre compositeur génératif étend un modèle de diffusion pré-entraîné pour traiter simultanément les scènes originales (source) et modifiées (cible). Il est affiné sur des images vidéo avec deux stratégies clés d'entraînement : (i) le masquage source, permettant des modifications flexibles telles que le remplacement d'arrière-plan ; (ii) le brouillage simulé des objets, facilitant un contrôle dissocié sur les objets et la caméra. BlenderFusion surpasse considérablement les méthodes précédentes dans les tâches complexes de modification compositionnelle de scènes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
BlenderFusion : Édition visuelle basée sur le 3D et composition générative | Articles | HyperAI