HyperAIHyperAI

Command Palette

Search for a command to run...

FlowScene: Stil-konsistente Erzeugung von Innenraumszenen mittels multimodaler Graphen-basierter Rectified Flow

Zhifei Yang Guangyao Zhai Keyang Lu YuYang Yin Chao Zhang Zhen Xiao Jieyi Long Nassir Navab Yikai Wang

Zusammenfassung

Die Generierung von Szenen weist umfangreiche industrielle Anwendungsmöglichkeiten auf und erfordert sowohl hohe Realitätsnähe als auch eine präzise Kontrolle über Geometrie und Erscheinungsbild. Sprachgesteuerte Retrieval-Methoden setzen plausible Szenen aus einer großen Objektdatenbank zusammen, vernachlässigen jedoch die Kontrolle auf Objektebene und versagen häufig bei der Durchsetzung einer stilistischen Kohärenz auf Szenenebene. Graphbasierte Formulierungen bieten eine höhere Steuerbarkeit über Objekte und gewährleisten eine ganzheitliche Konsistenz durch die explizite Modellierung von Relationen; bestehende Methoden haben jedoch Schwierigkeiten, Ergebnisse mit hoher Detailtreue und texturiertem Erscheinungsbild zu erzeugen, was ihren praktischen Nutzen einschränkt. Wir präsentieren FlowScene, ein dreizweigiges Szenengenerierungsmodell, das auf multimodalen Graphen konditioniert ist und gemeinsam Szenenlayouts, Objektformen und Objekttexturen generiert. Im Kern steht ein eng gekoppeltes rectified flow-Modell, das während der Generierung Objektdaten austauscht und eine kollaborative Inferenz über den Graphen hinweg ermöglicht. Dies erlaubt eine feinkörnige Kontrolle von Formen, Texturen und Relationen der Objekte bei gleichzeitiger Durchsetzung einer stilistischen Kohärenz auf Szenenebene sowohl in der Struktur als auch im Erscheinungsbild. Umfangreiche Experimente zeigen, dass FlowScene sowohl sprach- als auch graphkonditionierte Baseline-Modelle hinsichtlich der Realitätsnähe der Generierung, der Stilinkonsistenz und der Übereinstimmung mit menschlichen Präferenzen übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp