Autolabeling von 3D-Objekten durch differenzierbares Rendern von SDF-Formprioren

Wir präsentieren eine automatische Annotierungs Pipeline zur Rekonstruktion von 9D-Kuboiden und 3D-Formen aus vorab trainierten 2D-Detektoren und dünn besetzten LIDAR-Daten. Unsere Autolabeling-Methode löst ein schlecht gestelltes inverses Problem, indem sie gelernte Formpriors berücksichtigt und geometrische und physikalische Parameter optimiert. Um dieses anspruchsvolle Problem zu bewältigen, wenden wir einen neuartigen differenzierbaren Shape-Renderer auf signierte Distanzfelder (SDF) an, der zusammen mit normalisierten Objektkoordinatenräumen (NOCS) genutzt wird. Zunächst auf synthetischen Daten trainiert, um Formen und Koordinaten vorherzusagen, verwendet unsere Methode diese Vorhersagen für projektive und geometrische Ausrichtung bei realen Stichproben. Darüber hinaus schlagen wir eine Curriculum-Learning-Strategie vor, die iterativ auf Stichproben steigender Schwierigkeit in nachfolgenden selbstverbessernden Annotierungsrunden erneut trainiert wird. Unsere Experimente mit dem KITTI3D-Datensatz zeigen, dass wir eine beträchtliche Anzahl von genauen Kuboiden rekonstruieren können und dass diese Autolabels zur Schulung von 3D-Fahrzeugdetektoren mit Stand-der-Technik-Ergebnissen verwendet werden können.