Détection d'objets saillants RGB-D avec modulation et sélection inter-modales

Nous présentons une méthode efficace pour intégrer progressivement et affiner les complémentarités entre modalités pour la détection des objets saillants à partir de données RGB-D (SOD). Le réseau proposé résout principalement deux défis majeurs : 1) comment intégrer efficacement les informations complémentaires provenant d'une image RGB et de sa carte de profondeur correspondante, et 2) comment sélectionner de manière adaptative les caractéristiques les plus liées à la saillance. Premièrement, nous proposons un module de modulation des caractéristiques inter-modales (cmFM), qui améliore les représentations des caractéristiques en utilisant les caractéristiques de profondeur comme priorité, et modélise ainsi les relations complémentaires entre les données RGB-D. Deuxièmement, nous introduisons un module de sélection adaptative des caractéristiques (AFS), qui sélectionne les caractéristiques liées à la saillance tout en supprimant celles de moindre qualité. Ce module exploite une fusion spatiale multi-modale, en tenant compte des dépendances intra-modales et inter-modales des caractéristiques canal par canal. Troisièmement, nous utilisons un module d’attention position-bord guidée par la saillance (sg-PEA) afin de pousser le réseau à se concentrer davantage sur les régions saillantes. L’ensemble de ces modules, regroupés sous le nom de bloc cmMS, permet une révision fine des caractéristiques de saillance de manière progressive, du grossier au fin. Associé à une inférence ascendante, ce processus permet d’obtenir des résultats précis de détection des objets saillants, tout en préservant les contours. Des expériences étendues démontrent que notre réseau surpasser les méthodes de détection de saillance les plus avancées sur six benchmarks populaires de SOD RGB-D.