Réseaux d'Attention par Espérance-Maximisation pour la Segmentation Sémantique

Le mécanisme d'auto-attention (self-attention) est largement utilisé pour diverses tâches. Il est conçu pour calculer la représentation de chaque position par une somme pondérée des caractéristiques de toutes les positions. Ainsi, il peut capturer des relations à longue portée pour les tâches de vision par ordinateur. Cependant, ce mécanisme est coûteux en termes de calcul, car les cartes d'attention sont calculées par rapport à toutes les autres positions.Dans cet article, nous reformulons le mécanisme d'attention selon une approche d'espérance-maximisation et estimons itérativement un ensemble beaucoup plus compact de bases sur lesquelles les cartes d'attention sont calculées. Par une somme pondérée sur ces bases, la représentation résultante est de rang faible et élimine les informations bruyantes de l'entrée. Le module d'Attention par Espérance-Maximisation (Expectation-Maximization Attention, EMA) proposé est robuste aux variations de l'entrée et est également efficace en termes de mémoire et de calcul.De plus, nous avons mis en place des méthodes de maintenance et de normalisation des bases pour stabiliser sa procédure d'apprentissage. Nous avons mené des expériences approfondies sur des benchmarks populaires de segmentation sémantique, notamment PASCAL VOC, PASCAL Context et COCO Stuff, sur lesquels nous avons établi de nouveaux records.