Modèle de segmentation universelle guidé par des prompts avec prise en compte des parties pour une segmentation adaptative

La médecine de précision, telle que les traitements adaptés aux patients assistés par l'analyse d'images médicales, pose de nouveaux défis pour les algorithmes de segmentation en matière d'adaptation à de nouveaux patients, en raison de la grande variabilité entre les différents patients et de la disponibilité limitée de données annotées pour chaque patient. Dans ce travail, nous proposons un algorithme de segmentation efficace en termes de données, appelé Modèle Part-aware Prompted Segment Anything ($P^2SAM$). Sans aucun réglage fin du modèle, $P^2SAM$ permet une adaptation fluide à tout nouveau patient grâce uniquement à des données spécifiques au patient en une seule prise. Nous introduisons un mécanisme innovant de prompt part-aware pour sélectionner des prompts à plusieurs points basés sur les caractéristiques au niveau des parties des données en une seule prise, qui peut être largement intégré dans différents modèles de segmentation promptables, tels que SAM et SAM 2. De plus, pour déterminer le nombre optimal de parties pour chaque cas spécifique, nous proposons une approche guidée par la distribution qui renforce davantage la robustesse du mécanisme de prompt part-aware. $P^2SAM$ améliore les performances avec une augmentation moyenne du score Dice de +8,0 % et +2,0 % pour deux applications différentes de segmentation adaptée aux patients, respectivement. En outre, $P^2SAM$ montre également une généralisation impressionnante dans d'autres tâches de segmentation adaptative dans le domaine des images naturelles, par exemple avec une augmentation de +6,4 % du mIoU dans la tâche de segmentation d'objets personnalisés. Le code est disponible à l'adresse suivante : https://github.com/Zch0414/p2sam