Architecture à deux flux asymétrique pour une détection précise de la saliency RGB-D

La plupart des méthodes existantes de détection de la salience RGB-D reposent sur des architectures à deux voies symétriques afin d’apprendre des représentations discriminatives dans les canaux RGB et profondeur. En réalité, un autre niveau d’ambiguïté est souvent négligé : la nécessité pour les données RGB et profondeur de s’insérer dans le même réseau. Dans cet article, nous proposons une architecture à deux voies asymétrique qui prend en compte les différences intrinsèques entre les données RGB et profondeur pour la détection de la salience. Premièrement, nous concevons un module en échelle de flux (FLM) pour le flux RGB afin d’extraire de manière exhaustive à la fois les informations globales et locales tout en préservant les détails de la salience. Cela est réalisé en construisant quatre branches de transfert de détails, chacune préservant les informations détaillées et recevant des informations de localisation globale à partir des représentations d’autres branches parallèles verticales, de manière évolutive. Deuxièmement, nous proposons un nouveau module d’attention sur la profondeur (DAM) afin d’assurer une utilisation efficace des caractéristiques de profondeur, riches en pouvoir discriminant en termes de localisation et de structure spatiale, lorsqu’elles sont combinées aux caractéristiques RGB dans des scènes complexes. Les caractéristiques de profondeur peuvent également guider de manière discriminante les caractéristiques RGB grâce à notre DAM, permettant ainsi une localisation précise des objets saillants. Des expériences étendues démontrent que notre méthode obtient des performances supérieures par rapport à 13 approches de pointe RGB-D sur 7 jeux de données. Le code source sera rendu publiquement disponible.