Aggrégation globale suivie de distribution locale dans les réseaux de convolution entièrement connectés

Il a été largement démontré que modéliser les dépendances à longue portée dans les réseaux de convolution entièrement connectés (FCNs) à l’aide de modules d’agrégation globale est essentiel pour des tâches complexes d’interprétation de scènes telles que la segmentation sémantique et la détection d’objets. Toutefois, l’agrégation globale est souvent dominée par les caractéristiques des grandes structures, ce qui conduit à un lissage excessif des régions contenant des petites structures (par exemple, les contours ou les objets de petite taille). Pour résoudre ce problème, nous proposons une approche composée de deux étapes : d’abord une Agrégation Globale, suivie d’une Distribution Locale, désignée sous le nom de GALD. Dans cette méthode, les dépendances à longue portée sont utilisées de manière plus fiable dans les régions occupées par de grandes structures, tandis que les petites structures bénéficient davantage de la prise en compte locale. La taille de chaque structure à chaque position est estimée au sein du réseau sous la forme d’une carte de masque par canal. GALD est entraînable de manière end-to-end et peut être facilement intégrée dans divers FCNs existants, indépendamment du module d’agrégation globale utilisé, pour une large gamme de tâches visuelles. Elle améliore de manière cohérente les performances des approches les plus avancées en détection d’objets et en segmentation d’instances. En particulier, lorsqu’elle est appliquée à la segmentation sémantique, GALD atteint un nouveau record sur le jeu de test Cityscapes, avec un mIoU de 83,3 %. Le code est disponible à l’adresse suivante : \url{https://github.com/lxtGH/GALD-Net}