HyperAIHyperAI

Command Palette

Search for a command to run...

Détection d'objets saillants RGB-D avec modulation et sélection inter-modales

Chongyi Li Runmin Cong Yongri Piao Qianqian Xu Chen Change Loy

Résumé

Nous présentons une méthode efficace pour intégrer progressivement et affiner les complémentarités entre modalités pour la détection des objets saillants à partir de données RGB-D (SOD). Le réseau proposé résout principalement deux défis majeurs : 1) comment intégrer efficacement les informations complémentaires provenant d'une image RGB et de sa carte de profondeur correspondante, et 2) comment sélectionner de manière adaptative les caractéristiques les plus liées à la saillance. Premièrement, nous proposons un module de modulation des caractéristiques inter-modales (cmFM), qui améliore les représentations des caractéristiques en utilisant les caractéristiques de profondeur comme priorité, et modélise ainsi les relations complémentaires entre les données RGB-D. Deuxièmement, nous introduisons un module de sélection adaptative des caractéristiques (AFS), qui sélectionne les caractéristiques liées à la saillance tout en supprimant celles de moindre qualité. Ce module exploite une fusion spatiale multi-modale, en tenant compte des dépendances intra-modales et inter-modales des caractéristiques canal par canal. Troisièmement, nous utilisons un module d’attention position-bord guidée par la saillance (sg-PEA) afin de pousser le réseau à se concentrer davantage sur les régions saillantes. L’ensemble de ces modules, regroupés sous le nom de bloc cmMS, permet une révision fine des caractéristiques de saillance de manière progressive, du grossier au fin. Associé à une inférence ascendante, ce processus permet d’obtenir des résultats précis de détection des objets saillants, tout en préservant les contours. Des expériences étendues démontrent que notre réseau surpasser les méthodes de détection de saillance les plus avancées sur six benchmarks populaires de SOD RGB-D.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp