Réseaux de neurones graphiques 3D pour la segmentation sémantique RGBD

La segmentation sémantique RGBD nécessite un raisonnement conjoint portant sur les informations d’apparence 2D et géométriques 3D. Dans cet article, nous proposons un réseau neuronal à graphes 3D (3DGNN) qui construit un graphe de plus proches voisins (k-NN) à partir d’un nuage de points 3D. Chaque nœud du graphe correspond à un ensemble de points et est associé à un vecteur de représentation cachée initialisée à partir d’une caractéristique d’apparence extraite par un CNN unaire à partir d’images 2D. En s’appuyant sur des fonctions récurrentes, chaque nœud met à jour dynamiquement sa représentation cachée en fonction de son état actuel et des messages reçus de ses voisins. Ce modèle de propagation est déroulé sur un certain nombre d’étapes temporelles, et la représentation finale associée à chaque nœud est utilisée pour prédire la classe sémantique de chaque pixel. Le modèle est entraîné à l’aide de la rétropropagation à travers le temps. Des expériences étendues sur les jeux de données NYUD2 et SUN-RGBD démontrent l’efficacité de notre approche.