HyperAIHyperAI

Command Palette

Search for a command to run...

MonoScene: Monokulare 3D-Semantische Szenevervollständigung

Anh-Quan Cao Raoul de Charette

Zusammenfassung

MonoScene schlägt einen Framework für die 3D-Semantische Szenevervollständigung (SSC) vor, bei dem die dichte Geometrie und Semantik einer Szene aus einem einzelnen monokularen RGB-Bild abgeleitet werden. Im Gegensatz zur SSC-Literatur, die auf 2,5D- oder 3D-Eingaben basiert, lösen wir das komplexe Problem der 2D-zu-3D-Szenenrekonstruktion, während wir gleichzeitig ihre Semantik inferieren. Unser Framework basiert auf aufeinanderfolgenden 2D- und 3D-UNets, die durch eine neuartige 2D-3D-Features-Projektion verbunden sind, die sich von optischen Prinzipien ableitet, und führt ein 3D-Kontextbeziehungs-Prior ein, um räumliche und semantische Konsistenz zu gewährleisten. Neben architektonischen Beiträgen stellen wir neuartige globale Szenen- und lokale Frustumverlustfunktionen vor. Experimente zeigen, dass wir in allen Metriken und Datensätzen die Literatur übertrumpfen und plausibel erscheinende Szenen sogar jenseits des Kamerasichtfeldes generieren können. Unser Code und unsere trainierten Modelle sind unter https://github.com/cv-rits/MonoScene verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MonoScene: Monokulare 3D-Semantische Szenevervollständigung | Paper | HyperAI