Détection d'objets saillants RGB-D avec une conscience cible ubiquitaire

Les méthodes conventionnelles de détection d'objets saillants RGB-D visent à exploiter la profondeur comme information complémentaire pour identifier les régions saillantes dans les deux modalités. Cependant, les résultats de détection d'objets saillants dépendent fortement de la qualité des données de profondeur capturées, qui ne sont pas toujours disponibles. Dans cette étude, nous faisons une première tentative pour résoudre le problème de détection d'objets saillants RGB-D avec un cadre novateur de prise en compte de la profondeur. Ce cadre ne repose que sur les données RGB lors de la phase de test, en utilisant les données de profondeur capturées comme supervision pour l'apprentissage des représentations.Pour construire notre cadre et obtenir des résultats précis de détection saillante, nous proposons un réseau Ubiquitous Target Awareness (UTA) pour relever trois défis importants dans la tâche de détection d'objets saillants RGB-D : 1) un module de prise en compte de la profondeur pour extraire les informations de profondeur et identifier les régions ambiguës via des poids d'erreur adaptatifs ; 2) une interaction spatiale inter-modale et une interaction inter-niveaux sensible aux canaux, exploitant les indices frontières de bas niveau et amplifiant les canaux saillants de haut niveau ; 3) un module prédicteur multi-échelle à portes pour percevoir la saillance des objets à différentes échelles contextuelles.Outre ses performances élevées, notre réseau UTA proposé est exempt de profondeur pour l'inférence et fonctionne en temps réel avec une vitesse de 43 images par seconde (FPS). Les preuves expérimentales montrent que notre réseau proposé non seulement dépasse largement les méthodes d'avant-garde sur cinq benchmarks publics de détection d'objets saillants RGB-D, mais aussi vérifie son extensibilité sur cinq benchmarks publics de détection d'objets saillants RGB.