Adapter SAM Médical : Adaptation du Modèle Segment Anything pour la segmentation d'images médicales

Le modèle Segment Anything (SAM) a récemment gagné en popularité dans le domaine du découpage d’images grâce à ses performances remarquables sur diverses tâches de segmentation et à son interface basée sur des prompts. Toutefois, des études récentes ainsi que des expérimentations individuelles ont montré que le SAM se comporte médiocrement dans le contexte du découpage d’images médicales, en raison de l’absence de connaissances spécifiques à ce domaine. Cela soulève la question de savoir comment améliorer la capacité de segmentation du SAM pour les images médicales. Dans cet article, au lieu de fine-tuner le modèle SAM, nous proposons le Medical SAM Adapter (Med-SA), une méthode qui intègre des connaissances médicales spécifiques au domaine dans le modèle de segmentation à l’aide d’une technique d’adaptation légère mais efficace. Dans Med-SA, nous introduisons l’architecture Space-Depth Transpose (SD-Trans) pour adapter le SAM 2D aux images médicales 3D, ainsi que l’adaptateur Hyper-Prompting (HyP-Adpt) afin d’obtenir une adaptation conditionnée aux prompts. Nous menons des expériences d’évaluation approfondies sur 17 tâches de découpage d’images médicales couvrant diverses modalités d’imagerie. Med-SA surpasser plusieurs méthodes de pointe (SOTA) en découpage d’images médicales, tout en mettant à jour seulement 2 % des paramètres. Notre code source est disponible à l’adresse suivante : https://github.com/KidsWithTokens/Medical-SAM-Adapter.