Fusion Patch-Profondeur : segmentation d’image dichotomique par une stratégie fine par patch et un prior d’intégrité de profondeur

La segmentation d’images dichotomiques (DIS) est une tâche de segmentation d’objets à haute précision appliquée aux images naturelles à haute résolution. Les méthodes actuelles dominantes se concentrent principalement sur l’optimisation des détails locaux, tout en négligeant le défi fondamental de modélisation de l’intégrité des objets. Nous avons constaté que le prior d’intégrité en profondeur implicite dans les cartes de pseudo-profondeur générées par le Depth Anything Model v2, combiné aux caractéristiques détaillées des patchs d’image, peut conjointement résoudre ces dilemmes. À partir de ces observations, nous avons conçu un nouveau réseau de fusion patch-profondeur (PDFNet) dédié à la segmentation dichotomique à haute précision. Le cœur de PDFNet repose sur trois aspects principaux. Premièrement, la perception des objets est renforcée par une fusion multimodale des entrées. En exploitant une stratégie fine-grainée par patch, couplée à une sélection et une amélioration des patchs, la sensibilité aux détails est significativement augmentée. Deuxièmement, en tirant parti du prior d’intégrité en profondeur réparti dans les cartes de profondeur, nous proposons une fonction de perte basée sur le prior d’intégrité afin d’améliorer l’uniformité des résultats de segmentation au sein des cartes de profondeur. Enfin, nous exploitons les caractéristiques du encodeur partagé, et grâce à un décodeur de raffinement de profondeur simple, nous améliorons la capacité de cet encodeur partagé à capturer des informations subtiles liées à la profondeur présentes dans les images. Des expérimentations sur le jeu de données DIS-5K montrent que PDFNet surpasse de manière significative les méthodes de pointe non basées sur la diffusion. Grâce à l’intégration du prior d’intégrité en profondeur, PDFNet atteint ou dépasse même les performances des méthodes les plus récentes basées sur la diffusion, tout en utilisant moins de 11 % des paramètres nécessaires aux méthodes basées sur la diffusion. Le code source est disponible à l’adresse suivante : https://github.com/Tennine2077/PDFNet