HyperAIHyperAI

Command Palette

Search for a command to run...

INFERNO: Objektorientierte Schätzung von 3D-Szenendarstellungen ohne Überwachung

Aaron Courville Nicolas Ballas Lluis Castrejon

Zusammenfassung

Wir stellen INFERNO vor, eine Methode zur Ableitung objektzentrierter Darstellungen visueller Szenen, die auf keine Annotationen angewiesen ist. Unser Ansatz lernt, eine Szene in mehrere Objekte zu zerlegen, wobei jedes Objekt über eine strukturierte Darstellung verfügt, die dessen Form, Erscheinungsbild und 3D-Pose voneinander entkoppelt. Um diese Struktur zu gewährleisten, stützen wir uns auf jüngste Fortschritte im Bereich der neuronalen 3D-Rendering-Techniken. Jede Objektdarstellung definiert ein lokalisiertes neuronales Strahlungsfeld, das zur Generierung von 2D-Ansichten der Szene mittels eines differenzierbaren Rendering-Prozesses verwendet wird. Unser Modell wird anschließend durch Minimierung eines Rekonstruktionsfehlers zwischen Eingabedaten und den entsprechenden gerenderten Szenen trainiert. Wir zeigen empirisch, dass INFERNO Objekte in einer Szene ohne überwachtes Lernen erkennt. Zudem bestätigen wir die Interpretierbarkeit der gelernten Darstellungen durch Manipulationen der abgeleiteten Szenen und die Beobachtung der entsprechenden Auswirkungen im gerenderten Ausgabebild. Schließlich demonstrieren wir die Nützlichkeit unserer 3D-Objektdarstellungen in einer visuellen Schlussfolgerungsaufgabe anhand des CATER-Datensatzes.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
INFERNO: Objektorientierte Schätzung von 3D-Szenendarstellungen ohne Überwachung | Paper | HyperAI