Réseaux Neuraux Non-locaux Asymétriques pour la Segmentation Sémantique

Le module non local est une technique particulièrement utile pour la segmentation sémantique, bien qu'il soit critiqué pour ses calculs prohibitifs et sa consommation excessive de mémoire GPU. Dans cet article, nous présentons le réseau neuronal non local asymétrique (Asymmetric Non-local Neural Network) pour la segmentation sémantique, qui comporte deux composants principaux : le bloc non local pyramidal asymétrique (Asymmetric Pyramid Non-local Block, APNB) et le bloc non local de fusion asymétrique (Asymmetric Fusion Non-local Block, AFNB). L'APNB intègre un module d'échantillonnage pyramidal dans le bloc non local afin de réduire considérablement les calculs et la consommation de mémoire sans compromettre les performances. L'AFNB est adapté à partir de l'APNB pour fusionner les caractéristiques de différents niveaux en tenant pleinement compte des dépendances à longue portée, ce qui améliore considérablement les performances. De nombreuses expériences sur des benchmarks de segmentation sémantique démontrent l'efficacité et l'efficience de notre travail. En particulier, nous rapportons une performance d'état de l'art avec un mIoU de 81,3 sur l'ensemble de test Cityscapes. Pour une entrée de 256x128, l'APNB est environ 6 fois plus rapide qu'un bloc non local sur GPU tout en étant 28 fois moins gourmand en mémoire lors de son exécution. Le code est disponible à l'adresse suivante : https://github.com/MendelXu/ANN.git.