HyperAIHyperAI

Command Palette

Search for a command to run...

DiffDreamer: Auf dem Weg zu konsistenter unüberwachter Einzelansicht-Szene-Extrapolation mit bedingten Diffusionsmodellen

Shengqu Cai1,2* Eric Ryan Chan1 Songyou Peng2,3 Mohamad Shahbazi2 Anton Obukhov2 Luc Van Gool2,4 Gordon Wetzstein1

Zusammenfassung

Szene-Extrapolation – die Idee, neue Ansichten durch das Fliegen in ein gegebenes Bild zu generieren – ist eine vielversprechende, aber auch herausfordernde Aufgabe. Für jedes vorhergesagte Frame muss ein kombiniertes Problem der Inpainting und 3D-Verfeinerung gelöst werden, das schlecht gestellt ist und einen hohen Grad an Ambiguität beinhaltet. Darüber hinaus ist Trainingsdaten für langreichweitige Szenen schwer zu beschaffen und fehlen in der Regel ausreichend Ansichten, um genaue Kamerapositionen abzuleiten. Wir stellen DiffDreamer vor, ein unüberwachtes Framework, das in der Lage ist, neue Ansichten entlang einer langen Kameratrajektorie zu synthetisieren, während es ausschließlich auf im Internet gesammelten Naturbildern trainiert wird. Durch die Nutzung der stochastischen Natur der geführten Entvernischungsschritte trainieren wir die Diffusionsmodelle, projizierte RGBD-Bilder zu verfeinern, aber konditionieren die Entvernischungsschritte bei der Inferenz auf mehrere vergangene und zukünftige Frames. Wir zeigen, dass bildbasierte Diffusionsmodelle effektiv langreichweitige Szene-Extrapolation durchführen können und dabei die Konsistenz erheblich besser bewahren als frühere GAN-basierte Methoden. DiffDreamer ist eine leistungsfähige und effiziente Lösung für die Szene-Extrapolation, die beeindruckende Ergebnisse liefert, trotz begrenzter Überwachung. Projektseite: https://primecai.github.io/diffdreamer.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
DiffDreamer: Auf dem Weg zu konsistenter unüberwachter Einzelansicht-Szene-Extrapolation mit bedingten Diffusionsmodellen | Paper | HyperAI