HyperAIHyperAI

Command Palette

Search for a command to run...

Score Jacobian Chaining: Hochheben vortrainierter 2D-Diffusionsmodelle für die 3D-Generierung

Haochen Wang Xiaodan Du Jiahao Li Raymond A. Yeh Greg Shakhnarovich

Zusammenfassung

Ein Diffusionsmodell lernt, ein Vektorfeld von Gradienten vorherzusagen. Wir schlagen vor, die Kettenregel auf die gelernten Gradienten anzuwenden und die Score-Funktion eines Diffusionsmodells rückwärts durch die Jacobi-Matrix eines differenzierbaren Renderers zu propagieren, den wir als Voxel-Radiance-Feld instanziieren. Diese Architektur aggregiert 2D-Scores aus mehreren Kameraperspektiven zu einem 3D-Score und adaptiert ein vortrainiertes 2D-Modell für die Generierung von 3D-Daten. Wir identifizieren eine technische Herausforderung, die sich aus einer Verteilungsmismatch-Problematik in diesem Anwendungsfall ergibt, und schlagen eine neuartige Schätzmethode zur Lösung dieser Herausforderung vor. Wir testen unseren Algorithmus an mehreren kommerziell verfügbaren Diffusionsbildgenerationsmodellen, darunter das kürzlich veröffentlichte Stable Diffusion, das auf dem großskaligen LAION-Datensatz trainiert wurde.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp