VSRD: Instanzbasierte Volumetrische Silhouettenrendering für schwach überwachte 3D-Objekterkennung

Die monokulare 3D-Objekterkennung stellt aufgrund ihrer inhärent schlecht gestellten Natur bei der monokularen Tiefenschätzung eine erhebliche Herausforderung für das Verständnis von 3D-Szenen dar. Bestehende Methoden basieren stark auf überwachtem Lernen mit zahlreichen 3D-Etiketten, die in der Regel durch kostspielige und arbeitsintensive Annotation von LiDAR-Punktwolken gewonnen werden. Um dieses Problem zu lösen, schlagen wir ein neues schwach überwachtes Framework zur 3D-Objekterkennung vor, das VSRD (Volumetrisches Silhouettenrendering zur Erkennung) genannt wird. Dieses Framework ermöglicht es, 3D-Objekterkennungsmodelle ohne jegliche 3D-Überwachung, sondern nur mit schwacher 2D-Überwachung zu trainieren. VSRD besteht aus einer mehrsichtigen 3D-Auto-Etikettierung und einem anschließenden Training von monokularen 3D-Objekterkennern unter Verwendung der in der Auto-Etikettierungsphase generierten Pseudo-Etiketten.Im Auto-Etikettierungsprozess stellen wir die Oberfläche jedes Objekts als ein signiertes Distanzfeld (SDF) dar und rendern dessen Silhouette als Instanzmaske durch unser vorgeschlagenes instanzbewusstes volumetrisches Silhouettenrendering. Um die 3D-Bounding Boxes direkt durch Rendering zu optimieren, zerlegen wir das SDF jedes Objekts in das SDF eines Quaders und ein Restdistanzfeld (RDF), das den Rest vom Quader repräsentiert. Dieser Mechanismus ermöglicht es uns, die 3D-Bounding Boxes auf direkte Weise durch Vergleich der gerenderten Instanzmasken mit den Ground-Truth-Instanzmasken zu optimieren. Die optimierten 3D-Bounding Boxes dienen als effektive Trainingsdaten für die 3D-Objekterkennung.Wir führen umfangreiche Experimente auf dem KITTI-360-Datensatz durch und zeigen, dass unsere Methode die bestehenden schwach überwachten Methoden zur 3D-Objekterkennung übertreffen kann. Der Code ist unter https://github.com/skmhrk1209/VSRD verfügbar.