HyperAIHyperAI

Command Palette

Search for a command to run...

VSRD: Instanzbasierte Volumetrische Silhouettenrendering für schwach überwachte 3D-Objekterkennung

Zihua Liu* Hiroki Sakuma* Masatoshi Okutomi

Zusammenfassung

Die monokulare 3D-Objekterkennung stellt aufgrund ihrer inhärent schlecht gestellten Natur bei der monokularen Tiefenschätzung eine erhebliche Herausforderung für das Verständnis von 3D-Szenen dar. Bestehende Methoden basieren stark auf überwachtem Lernen mit zahlreichen 3D-Etiketten, die in der Regel durch kostspielige und arbeitsintensive Annotation von LiDAR-Punktwolken gewonnen werden. Um dieses Problem zu lösen, schlagen wir ein neues schwach überwachtes Framework zur 3D-Objekterkennung vor, das VSRD (Volumetrisches Silhouettenrendering zur Erkennung) genannt wird. Dieses Framework ermöglicht es, 3D-Objekterkennungsmodelle ohne jegliche 3D-Überwachung, sondern nur mit schwacher 2D-Überwachung zu trainieren. VSRD besteht aus einer mehrsichtigen 3D-Auto-Etikettierung und einem anschließenden Training von monokularen 3D-Objekterkennern unter Verwendung der in der Auto-Etikettierungsphase generierten Pseudo-Etiketten.Im Auto-Etikettierungsprozess stellen wir die Oberfläche jedes Objekts als ein signiertes Distanzfeld (SDF) dar und rendern dessen Silhouette als Instanzmaske durch unser vorgeschlagenes instanzbewusstes volumetrisches Silhouettenrendering. Um die 3D-Bounding Boxes direkt durch Rendering zu optimieren, zerlegen wir das SDF jedes Objekts in das SDF eines Quaders und ein Restdistanzfeld (RDF), das den Rest vom Quader repräsentiert. Dieser Mechanismus ermöglicht es uns, die 3D-Bounding Boxes auf direkte Weise durch Vergleich der gerenderten Instanzmasken mit den Ground-Truth-Instanzmasken zu optimieren. Die optimierten 3D-Bounding Boxes dienen als effektive Trainingsdaten für die 3D-Objekterkennung.Wir führen umfangreiche Experimente auf dem KITTI-360-Datensatz durch und zeigen, dass unsere Methode die bestehenden schwach überwachten Methoden zur 3D-Objekterkennung übertreffen kann. Der Code ist unter https://github.com/skmhrk1209/VSRD verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp