Gated-SCNN : Gated Shape CNNs pour la segmentation sémantique

Les méthodes actuelles de pointe pour le segmention d'images génèrent une représentation dense de l'image où les informations sur la couleur, la forme et la texture sont traitées ensemble au sein d'un CNN profond. Cependant, cette approche peut ne pas être idéale car ces informations contiennent des types très différents de données pertinentes pour la reconnaissance. Nous proposons ici une nouvelle architecture de CNN à deux flux pour la segmentation sémantique qui relie explicitement les informations sur la forme comme un flux de traitement séparé, c'est-à-dire le flux de forme, qui traite les informations en parallèle du flux classique. L'élément clé de cette architecture est un nouveau type de portes qui connectent les couches intermédiaires des deux flux. Plus précisément, nous utilisons les activations de niveau supérieur dans le flux classique pour contrôler les activations de niveau inférieur dans le flux de forme, éliminant efficacement le bruit et aidant le flux de forme à se concentrer uniquement sur le traitement des informations liées aux contours pertinents. Cela nous permet d'utiliser une architecture très peu profonde pour le flux de forme qui opère à la résolution au niveau de l'image. Nos expériences montrent que cela conduit à une architecture hautement efficace qui produit des prédictions plus nettes autour des contours des objets et améliore considérablement les performances sur les objets plus fins et plus petits. Notre méthode atteint des performances de pointe sur le banc d'essai Cityscapes, tant en termes de qualité du masque (mIoU) que de qualité du contour (F-score), avec des améliorations respectives de 2 % et 4 % par rapport aux lignes directrices solides.