RBGNet : Regroupement basé sur les rayons pour la détection d'objets 3D

En tant que problème fondamental en vision par ordinateur, la détection d’objets 3D connaît une croissance rapide. Pour extraire des caractéristiques point par point à partir de points irrégulièrement répartis et éparsement distribués, les méthodes précédentes ont généralement recours à un module de regroupement de caractéristiques afin d’agréger les caractéristiques des points autour de candidats d’objets. Toutefois, ces approches n’ont pas encore exploité la géométrie de surface des objets du premier plan pour améliorer le regroupement et la génération de boîtes 3D. Dans cet article, nous proposons le cadre RBGNet, un détecteur 3D basé sur le vote pour une détection précise d’objets 3D à partir de nuages de points. Afin d’apprendre des représentations améliorées de la forme des objets, et ainsi renforcer les caractéristiques des regroupements pour prédire les boîtes 3D, nous introduisons un module de regroupement de caractéristiques basé sur des rayons, qui agrège les caractéristiques point par point sur les surfaces des objets à l’aide d’un ensemble de rayons uniformément émis à partir des centres des regroupements. Étant donné que les points du premier plan sont plus significatifs pour l’estimation des boîtes, nous concevons une nouvelle stratégie d’échantillonnage biaisée vers le premier plan dans le processus de sous-échantillonnage, afin d’échantillonner davantage de points sur les surfaces des objets et d’améliorer davantage les performances de détection. Notre modèle atteint des performances de détection 3D de pointe sur les bases ScanNet V2 et SUN RGB-D, avec des gains remarquables. Le code sera disponible à l’adresse suivante : https://github.com/Haiyang-W/RBGNet.