Détection de la co-salience induite par le gradient

La détection de co-saliences (Co-SOD) vise à segmenter le premier plan commun salient dans un groupe d'images pertinentes. Dans cet article, inspiré par le comportement humain, nous proposons une méthode de détection de co-saliences induite par les gradients (GICD). Nous commençons par abstraire une représentation consensuelle pour les images regroupées dans l'espace d'embedding ; ensuite, en comparant une image individuelle avec cette représentation consensuelle, nous utilisons les informations de gradient de retour pour attirer davantage l'attention sur les caractéristiques co-salientes discriminantes. De plus, en raison du manque de données d'entraînement pour la Co-SOD, nous concevons une stratégie d'entraînement en puzzle, qui permet aux réseaux Co-SOD d'être entraînés sur des jeux de données généraux de salience sans annotations supplémentaires au niveau des pixels. Pour évaluer les performances des méthodes Co-SOD dans la découverte de l'objet co-salient parmi plusieurs premiers plans, nous avons construit un jeu de données CoCA difficile, où chaque image contient au moins un premier plan parasite en plus de l'objet co-salient. Les expériences montrent que notre GICD atteint des performances de pointe. Nos codes et notre jeu de données sont disponibles à l'adresse https://mmcheng.net/gicd/.