ProMISe: Promptable Medical Image Segmentation mithilfe von SAM

Mit der Einführung des Segment Anything Model (SAM) ist die Feinabstimmung von SAM für die medizinische Bildsegmentierung (MIS) zunehmend verbreitet. Aufgrund der großen Modellgröße von SAM und des erheblichen Domänenunterschieds zwischen natürlichen und medizinischen Bildern sind feinabstimmungs-basierte Ansätze jedoch kostspielig und bergen das Risiko von Instabilität, Merkmalsbeschädigung sowie katastrophalem Vergessen. Darüber hinaus deaktivieren einige Methoden, die SAM durch Feinabstimmung auf eine spezifische MIS-Domäne übertragen, die Fähigkeit des Modells zur Prompt-basierten Interaktion, was dessen Einsatzmöglichkeiten erheblich einschränkt. In diesem Paper stellen wir einen Auto-Prompting-Modul (APM) vor, der dem SAM-basierten Grundmodell adaptiv angepasste euklidische Prompts in der Ziel-Domäne bereitstellt. Unsere Experimente zeigen, dass solche adaptiven Prompts die Leistung von SAM bei nicht-feinabgestimmten Anwendungen in der MIS signifikant verbessern. Zudem präsentieren wir eine neuartige, nicht-invasive Methode namens Incremental Pattern Shifting (IPS), um SAM an spezifische medizinische Domänen anzupassen. Experimentelle Ergebnisse belegen, dass IPS es ermöglicht, state-of-the-art oder wettbewerbsfähige Leistung in der MIS ohne Feinabstimmung zu erreichen. Durch die Kombination beider Methoden entwickeln wir ProMISe, einen end-to-end-rahmen für promptbare medizinische Bildsegmentierung, der keine Feinabstimmung erfordert. Unsere Experimente zeigen, dass sowohl die einzelne Anwendung unserer Methoden als auch ihre Kombination eine zufriedenstellende Leistung bei niedrigem Rechenaufwand ermöglicht, wobei alle Parameter von SAM fixiert bleiben.