ExFuse : Amélioration de la Fusion des Caractéristiques pour la Segmentation Sémantique

Les cadres modernes de segmentation sémantique combinent généralement des caractéristiques de bas niveau et de haut niveau issus de modèles de convolution pré-entraînés pour améliorer les performances. Dans cet article, nous soulignons d'abord que la fusion simple de caractéristiques de bas niveau et de haut niveau peut être moins efficace en raison du décalage entre les niveaux sémantiques et la résolution spatiale. Nous constatons que l'introduction d'informations sémantiques dans les caractéristiques de bas niveau et de détails à haute résolution dans les caractéristiques de haut niveau est plus efficace pour la fusion ultérieure. Sur la base de cette observation, nous proposons un nouveau cadre nommé ExFuse, qui vise à combler le fossé entre les caractéristiques de bas niveau et celles de haut niveau, améliorant ainsi considérablement la qualité de la segmentation globale de 4,0 %. De plus, nous évaluons notre approche sur le banc d'essai difficile de segmentation PASCAL VOC 2012 et obtenons un mean IoU (Intersection over Union) moyen de 87,9 %, surpassant ainsi les résultats précédents d'avant-garde.