Apprentissage d'une attention auto-mutuelle sélective pour la détection de la salience RGB-D

La détection de salience sur les images RGB-D suscite actuellement un intérêt croissant dans la recherche. Les modèles précédents adoptent généralement une fusion précoce ou une fusion des résultats pour combiner les données RGB et profondeur, ou bien leurs cartes de salience, ce qui entraîne des problèmes tels que l’écart de distribution ou la perte d’information. D’autres modèles utilisent une fusion de caractéristiques, mais sont limités par des méthodes linéaires de fusion. Dans cet article, nous proposons de fusionner l’attention apprise dans les deux modalités. Inspirés par le modèle Non-local, nous intégrons l’attention self-attention et l’attention mutuelle afin de propager efficacement les dépendances contextuelles à longue portée, permettant ainsi une meilleure intégration des informations multimodales pour apprendre l’attention et propager les contextes. En tenant compte de la fiabilité de l’attention provenant de l’autre modalité, nous introduisons également une attention de sélection pour pondérer le nouveau terme d’attention ajouté. Nous intégrons le module d’attention proposé dans un réseau CNN à deux branches pour la détection de salience sur images RGB-D. Par ailleurs, nous proposons également un module de fusion résiduelle pour intégrer les caractéristiques du décodeur profonde dans le flux RGB. Les résultats expérimentaux sur sept jeux de données de référence démontrent l’efficacité des composants proposés ainsi que la performance de notre modèle final. Le code source et les cartes de salience sont disponibles à l’adresse suivante : https://github.com/nnizhang/S2MA.