ProMISe : Segmentación d’images médicales pilotée par des prompts utilisant SAM

Avec la proposition du modèle Segment Anything (SAM), le fine-tuning du SAM pour la segmentation d’images médicales (MIS) est devenu populaire. Toutefois, en raison de la taille importante du modèle SAM et du grand écart de domaine entre les images naturelles et les images médicales, les stratégies basées sur le fine-tuning s’avèrent coûteuses et comportent des risques potentiels d’instabilité, de dommages aux caractéristiques et d’oubli catastrophique. En outre, certaines méthodes permettant de transférer SAM vers une MIS spécifique via des stratégies de fine-tuning annulent la capacité d’activation du modèle, limitant sévèrement ses scénarios d’utilisation. Dans cet article, nous proposons un module d’auto-activation (APM), qui fournit au modèle fondamental basé sur SAM des prompts adaptatifs euclidiens dans le domaine cible. Nos expérimentations démontrent que ces prompts adaptatifs améliorent significativement les performances du SAM sans fine-tuning dans la MIS. En outre, nous introduisons une nouvelle méthode non invasive appelée décalage incrémental de motifs (IPS), permettant d’adapter SAM à des domaines médicaux spécifiques. Les résultats expérimentaux montrent que l’IPS permet au SAM d’atteindre des performances de pointe ou compétitives en MIS sans nécessiter de fine-tuning. En combinant ces deux approches, nous proposons ProMISe, un cadre end-to-end non basé sur le fine-tuning pour la segmentation d’images médicales avec activation. Nos expérimentations démontrent que l’utilisation de nos méthodes individuellement ou en combinaison permet d’obtenir des performances satisfaisantes avec un décalage de motif à faible coût, tout en maintenant tous les paramètres de SAM gelés.