JL-DCF : Cadre d'apprentissage conjoint et de fusion fortement coopérative pour la détection des objets saillants en RGB-D

Cet article propose une nouvelle architecture d’apprentissage conjoint et de fusion densément coopérative (JL-DCF) pour la détection de objets saillants à partir de données RGB-D. Les modèles existants traitent généralement les canaux RGB et profondeur comme des informations indépendantes, en concevant des réseaux distincts pour l’extraction des caractéristiques de chacun. De telles approches sont souvent limitées par une quantité restreinte de données d’entraînement ou par une dépendance excessive à un processus d’entraînement soigneusement conçu. À l’inverse, notre architecture JL-DCF apprend à partir des deux entrées RGB et profondeur grâce à un réseau de type Siamese. Pour ce faire, nous introduisons deux composants efficaces : l’apprentissage conjoint (JL) et la fusion densément coopérative (DCF). Le module JL permet une extraction robuste de caractéristiques saillantes, tandis que le module DCF est conçu pour découvrir des caractéristiques complémentaires. Des expériences approfondies menées sur quatre métriques populaires montrent que le cadre proposé permet de concevoir un détecteur de saillance RGB-D robuste, offrant une bonne généralisation. En conséquence, JL-DCF améliore significativement le modèle D3Net de manière moyenne de ~1,9 % (mesure S) sur six jeux de données exigeants. Ces résultats démontrent que le cadre proposé constitue une solution prometteuse pour des applications réelles et ouvre de nouvelles perspectives sur la tâche de complémentarité entre modalités. Le code source sera disponible à l’adresse suivante : https://github.com/kerenfu/JLDCF/.