Réseau de fusion progressivement consciente de la complémentarité pour la détection des objets saillants en RGB-D

La question fondamentale consistant à intégrer de manière suffisante la complémentarité inter-modale constitue le pilier central de la détection des objets saillants à partir de données RGB-D. Les travaux antérieurs abordent principalement ce problème en concaténant simplement les caractéristiques multi-modales ou en combinant les prédictions unimodales. Dans cet article, nous répondons à cette question sous deux angles : (1) Nous soutenons que si la partie complémentaire peut être modélisée de manière plus explicite, la complémentarité inter-modale peut être mieux capturée. À cette fin, nous proposons un nouveau module de fusion conscient de la complémentarité (CA-Fuse), conçu pour les réseaux de neurones convolutifs (CNN). En introduisant des fonctions résiduelles inter-modales et des supervisions conscientes de la complémentarité dans chaque module CA-Fuse, nous formulons explicitement le problème d’apprentissage de l’information complémentaire à partir des modalités appariées comme une approximation asymptotique de la fonction résiduelle. (2) Exploration de la complémentarité à tous les niveaux. En cascadeant le module CA-Fuse et en ajoutant des supervisions au niveau de chaque couche, du niveau profond au niveau superficiel, de manière dense, la complémentarité inter-niveaux peut être sélectionnée et combinée de manière progressive. Le réseau de fusion RGB-D proposé clarifie les processus de fusion inter-modale et inter-niveaux, permettant ainsi des résultats de fusion plus complets. Les expériences menées sur des jeux de données publics démontrent l’efficacité du module CA-Fuse proposé ainsi que du réseau de détection des objets saillants RGB-D.