Stratégie de backbone bifurqué pour la détection de objets saillants en RGB-D

La fusion de caractéristiques multi-niveaux est un thème fondamental en vision par ordinateur. Elle a été largement exploitée pour détecter, segmenter et classifier des objets à différentes échelles. Lorsque les caractéristiques multi-niveaux s’associent à des indices multi-modaux, la stratégie optimale d’agrégation des caractéristiques et d’apprentissage multi-modal devient un défi majeur. Dans cet article, nous tirons parti de la nature intrinsèquement multi-modale et multi-niveau de la détection des objets saillants en RGB-D pour concevoir un nouveau réseau de raffinement en cascade. Plus précisément, nous proposons tout d’abord de réorganiser les caractéristiques multi-niveaux en caractéristiques « enseignantes » et « étudiantes » à l’aide d’une stratégie d’architecture bifurquée (BBS). Ensuite, nous introduisons un module enrichi par la profondeur (DEM) afin d’extraire efficacement des indices informatifs provenant des dimensions canal et spatiale. Les modalités RGB et profondeur sont ensuite fusionnées de manière complémentaire. Notre architecture, nommée Bifurcated Backbone Strategy Network (BBS-Net), est simple, efficace et indépendante du modèle de base (backbone). Des expérimentations étendues montrent que BBS-Net surpasser significativement dix-huit modèles de pointe (SOTA) sur huit jeux de données exigeants selon cinq critères d’évaluation, démontrant l’efficacité de notre approche (amélioration d’environ 4 % sur le score S-mesure par rapport au modèle leader : DMRA-iccv2019). En outre, nous fournissons une analyse approfondie de la capacité de généralisation des différents jeux de données RGB-D, ainsi qu’un ensemble d’apprentissage puissant destiné aux recherches futures.