H3DNet : Détection d'objets 3D utilisant des primitives géométriques hybrides

Nous introduisons H3DNet, un modèle qui prend en entrée un nuage de points 3D sans couleur et produit une collection de boîtes englobantes orientées (BB) ainsi que leurs étiquettes sémantiques. L'idée centrale de H3DNet consiste à prédire un ensemble hybride de primitives géométriques, à savoir les centres des boîtes englobantes, les centres des faces des boîtes et les centres des arêtes. Nous montrons comment convertir ces primitives géométriques prédites en propositions d'objets en définissant une fonction de distance entre un objet et les primitives géométriques. Cette fonction de distance permet une optimisation continue des propositions d'objets, et ses minima locaux fournissent des propositions d'objets de haute fidélité. H3DNet utilise ensuite un module de correspondance et de raffinement pour classer les propositions d'objets en objets détectés et ajuster finement les paramètres géométriques des objets détectés. L'ensemble hybride de primitives géométriques fournit non seulement des signaux plus précis pour la détection d'objets que l'utilisation d'un seul type de primitive géométrique, mais il impose également un ensemble surabondant de contraintes sur la disposition 3D finale. Par conséquent, H3DNet est capable de tolérer les valeurs aberrantes présentes dans les primitives géométriques prédites. Notre modèle atteint des résultats de détection 3D de pointe sur deux grands jeux de données comprenant des scans 3D réels, à savoir ScanNet et SUN RGB-D.