Autoétiquetage d'objets 3D avec un rendu différentiable de formes a priori SDF

Nous présentons un pipeline d'annotation automatique permettant de récupérer des cuboïdes 9D et des formes 3D à partir de détecteurs 2D pré-entraînés et de données LIDAR éparses. Notre méthode d'autolabellisation résout un problème inverse mal posé en tenant compte de priorités de forme apprises et en optimisant les paramètres géométriques et physiques. Pour aborder ce problème complexe, nous utilisons un rendu de forme différentiable novateur appliqué aux champs de distance signée (SDF), combiné avec des espaces de coordonnées d'objet normalisés (NOCS). Initialement entraîné sur des données synthétiques pour prédire la forme et les coordonnées, notre méthode utilise ces prédictions pour l'alignement projectif et géométrique sur des échantillons réels. De plus, nous proposons une stratégie d'apprentissage par curriculum, consistant à itérativement réentraîner le modèle sur des échantillons de difficulté croissante lors des cycles successifs d'annotation auto-améliorante. Nos expériences sur l'ensemble de données KITTI3D montrent que nous pouvons récupérer une quantité substantielle de cuboïdes précis, et que ces autolabels peuvent être utilisés pour entraîner des détecteurs 3D de véhicules avec des résultats à la pointe de l'état de l'art.