Réflexion sur la détection d'objets co-saliens

Dans cet article, nous menons une étude exhaustive sur le problème de détection d'objets co-salients (CoSOD) dans les images. La CoSOD est une extension émergente et en rapide expansion de la détection d'objets saillants (SOD), qui vise à détecter les objets saillants co-occurrents dans un groupe d'images. Cependant, les jeux de données CoSOD existants présentent souvent un biais de données important, en supposant que chaque groupe d'images contient des objets saillants avec des apparences visuelles similaires. Ce biais peut compromettre l'efficacité des modèles formés sur ces jeux de données dans des situations réelles, où les similarités sont généralement sémantiques ou conceptuelles.Pour résoudre ce problème, nous introduisons tout d'abord un nouveau benchmark appelé CoSOD3k in the wild, qui nécessite une grande quantité de contexte sémantique, le rendant plus difficile que les jeux de données CoSOD existants. Notre CoSOD3k comprend 3 316 images de haute qualité soigneusement sélectionnées, divisées en 160 groupes avec des annotations hiérarchiques. Les images couvrent une large gamme de catégories, de formes, de tailles d'objets et de fonds. Ensuite, nous intégrons les techniques SOD existantes pour construire un cadre CoSOD unifié et formable, qui était grandement attendu dans ce domaine. Plus précisément, nous proposons un nouveau réseau CoEG-Net qui améliore notre modèle précédent EGNet grâce à une stratégie de projection co-attention pour permettre l'apprentissage rapide des informations communes. Le CoEG-Net exploite pleinement les grands jeux de données SOD précédents et améliore considérablement l'évolutivité et la stabilité du modèle.En troisième lieu, nous faisons un résumé complet de 40 algorithmes à la pointe de la technologie, en évaluant 18 d'entre eux sur trois jeux de données CoSOD difficiles (iCoSeg, CoSal2015 et notre CoSOD3k), et en rapportant une analyse plus détaillée des performances (c'est-à-dire au niveau des groupes). Enfin, nous discutons des défis et des travaux futurs liés à la CoSOD. Nous espérons que notre étude donnera un fort coup de pouce à l'évolution au sein de la communauté CoSOD. Le benchmark toolbox et les résultats sont disponibles sur notre page projet à l'adresse http://dpfan.net/CoSOD3K/.