Réseau Siamese pour la Détection d'Objets Saliants RGB-D et Au-delà

Les modèles existants de détection d'objets saillants RGB-D (SOD) traitent généralement les informations RGB et profondeur comme des données indépendantes et conçoivent des réseaux distincts pour l'extraction de caractéristiques à partir de chacune. De tels schémas peuvent facilement être limités par une quantité limitée de données d'entraînement ou par une dépendance excessive à un processus d'entraînement soigneusement conçu. Inspirés par l'observation que les modalités RGB et profondeur présentent en réalité certaines similarités dans la distinction des objets saillants, nous avons conçu une nouvelle architecture d'apprentissage conjoint et de fusion coopérative dense (JL-DCF) permettant d'apprendre à partir des entrées RGB et profondeur grâce à un tronc commun de réseau, connu sous le nom d'architecture Siamese. Dans cet article, nous proposons deux composants efficaces : l'apprentissage conjoint (JL) et la fusion coopérative dense (DCF). Le module JL fournit un apprentissage robuste des caractéristiques saillantes en exploitant la similarité intermodale via un réseau Siamese, tandis que le module DCF est introduit pour la découverte de caractéristiques complémentaires. Des expériences exhaustives utilisant cinq métriques populaires montrent que le cadre conçu produit un détecteur RGB-D saillant robuste avec une bonne généralisation. En conséquence, JL-DCF améliore considérablement les modèles de pointe actuels avec une moyenne d'environ 2,0 % (mesure F maximale) sur sept jeux de données difficiles. De plus, nous montrons que JL-DCF peut être facilement appliqué à d'autres tâches de détection multimodale connexes, telles que la détection d'objets saillants RGB-T (infrarouge thermique) et la détection d'objets saillants vidéo, obtenant des performances comparables voire supérieures aux méthodes les plus avancées. Nous établissons également un lien entre JL-DCF et le domaine du segmention sémantique RGB-D, démontrant sa capacité à surpasser plusieurs modèles de segmentation sémantique sur la tâche de détection d'objets saillants RGB-D. Ces faits confirment davantage que le cadre proposé pourrait offrir une solution potentielle pour diverses applications et fournir plus d'insights sur la tâche de complémentarité intermodale.