CubifAE-3D : Cubification d'espace monoculaire pour la détection d'objets 3D basée sur un auto-encodeur

Nous présentons une méthode de détection d'objets 3D à partir d'une seule image monoculaire. Partant d'un ensemble de données synthétiques, nous pré-entraînons un Auto-Encodeur (AE) RGB-to-Depth. L'embedding appris par cet AE est ensuite utilisé pour entraîner un réseau neuronal convolutif (CNN) de détection d'objets 3D (3DOD), qui est utilisé pour régresser les paramètres des poses d'objets 3D après que l'encodeur de l'AE a généré un embedding latent à partir de l'image RGB. Nous montrons qu'il est possible de pré-entraîner l'AE une fois à l'aide d'images RGB et profondeur couplées provenant de données de simulation, puis d'entraîner uniquement le réseau 3DOD avec des données réelles, composées d'images RGB et de labels de pose d'objets 3D (sans nécessiter une profondeur dense). Notre réseau 3DOD utilise une `cubification’ particulière de l'espace 3D autour de la caméra, où chaque cuboïde est chargé de prédire N poses d'objets, ainsi que leur classe et leurs valeurs de confiance. Le pré-entraînement de l'AE et cette méthode de division de l'espace 3D autour de la caméra en cuboïdes donnent leur nom à notre méthode - CubifAE-3D. Nous présentons des résultats pour la détection monoculaire d'objets 3D dans le cas d'utilisation des véhicules autonomes (AV) avec les ensembles de données Virtual KITTI 2 et KITTI.