HyperAIHyperAI

Command Palette

Search for a command to run...

BlenderFusion: 3D-gestütztes visuelles Bearbeiten und generatives Komponieren

Chen Jiacheng Mehran Ramin Jia Xuhui Xie Saining Woo Sanghyun

Zusammenfassung

Wir stellen BlenderFusion vor, ein generatives visuelles Kompositing-Framework, das neue Szenen durch die Neuanordnung von Objekten, Kamera und Hintergrund synthetisiert. Es folgt einem Layering-Editing-Compositing-Prozess: (i) Segmentierung und Konvertierung visueller Eingaben in bearbeitbare 3D-Entitäten (Layering), (ii) Bearbeitung dieser Entitäten in Blender unter Verwendung von 3D-gestützter Steuerung (Editing), und (iii) Fusion der bearbeiteten Elemente zu einer kohärenten Szene mithilfe eines generativen Kompositors (Compositing). Unser generativer Kompositor erweitert ein vortrainiertes Diffusionsmodell, um sowohl die ursprünglichen (Quellen-) als auch die bearbeiteten (Ziel-)Szenen parallel zu verarbeiten. Er wird an Video-Einstellungen mit zwei wesentlichen Trainingsstrategien feinjustiert: (i) Quellenmaskierung, die flexible Modifikationen wie den Hintergrundwechsel ermöglicht; (ii) simulierter Objektjitter, der eine getrennte Steuerung von Objekten und Kamera erleichtert. BlenderFusion übertrifft bei komplexen Kompositionsaufgaben für Szenenbearbeitung deutlich frühere Methoden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp