Réseau de caractéristiques en cascade pour la segmentation sémantique d'images RGB-D

Le réseau entièrement convolutif (FCN) a été efficacement appliqué à la segmentation sémantique des scènes représentées par des images en RGB. L’ajout d’un canal de profondeur aux images permet une meilleure compréhension de l’information géométrique présente dans la scène. La question qui se pose est de savoir comment exploiter au mieux ces informations supplémentaires afin d’améliorer les performances de segmentation. Dans cet article, nous proposons un réseau neuronal à plusieurs branches pour la segmentation d’images RGB-D. Notre approche consiste à utiliser la profondeur disponible pour diviser l’image en couches présentant des caractéristiques visuelles communes, correspondant à des « résolutions scènes » similaires. Nous introduisons un champ réceptif conscient du contexte (CaRF), qui permet un meilleur contrôle de l’information contextuelle pertinente des caractéristiques apprises. Grâce au CaRF, chaque branche du réseau effectue une segmentation sémantique des scènes ayant une résolution similaire, ce qui conduit à un domaine d’apprentissage plus ciblé et donc plus facile à modéliser. En outre, notre réseau est conçu en cascade, les caractéristiques issues d’une branche étant utilisées pour enrichir celles de la branche adjacente. Nous démontrons que ce couplage progressif des caractéristiques enrichit l’information contextuelle de chaque branche et améliore ainsi les performances globales. Les résultats obtenus par notre réseau surpassent les méthodes de pointe sur deux jeux de données publics.