3D-RCNN: Instance-level 3D-Objekt-Rekonstruktion mittels Render-and-Compare

Wir präsentieren einen schnellen invers-grafischen Rahmen für die instanzweise 3D-Szenenverstehens. Wir trainieren ein tiefes convolutionales Netzwerk, das lernt, Bildregionen auf die vollständige 3D-Form und Pose aller Objektinstanzen im Bild abzubilden. Unser Ansatz erzeugt eine kompakte 3D-Repräsentation der Szene, die direkt für Anwendungen wie autonome Fahrzeuge genutzt werden kann. Viele klassische 2D-Vision-Ausgaben, wie Instanzsegmentierungen und Tiefenkarten, können einfach durch Rendern unseres 3D-Szenenmodells abgeleitet werden. Wir nutzen klassenspezifische Formvorwissen, indem wir einen niedrigdimensionalen Formraum aus Sammlungen von CAD-Modellen lernen. Wir stellen neuartige Repräsentationen für Form und Pose vor, die darauf abzielen, eine verbesserte 3D-Äquivarianz und Generalisierung zu erreichen. Um reichhaltige überwachende Signale in Form von 2D-Annotationen wie Segmentierungen auszunutzen, schlagen wir eine differenzierbare Render-and-Compare-Verlustfunktion vor, die die Lernung von 3D-Form und -Pose mit 2D-Überwachung ermöglicht. Wir evaluieren unsere Methode auf anspruchsvollen realen Datensätzen wie Pascal3D+ und KITTI, wo wir state-of-the-art-Ergebnisse erzielen.