Part-aware Prompted Segment Anything-Modell für adaptive Segmentation

Präzisionsmedizin, wie patientenangepasste Behandlungen unterstützt durch medizinische Bildanalyse, stellt neue Herausforderungen für Segmentierungsalgorithmen dar, insbesondere bei der Anpassung an neue Patienten aufgrund der großen Variabilität zwischen verschiedenen Patienten und der begrenzten Verfügbarkeit von annotierten Daten für jeden einzelnen Patienten. In dieser Arbeit schlagen wir einen dateneffizienten Segmentierungsalgorithmus vor, den wir als Part-aware Prompted Segment Anything Model ($P^2SAM$) bezeichnen. Ohne irgendeine Feinabstimmung des Modells ermöglicht $P^2SAM$ eine nahtlose Anpassung an neue Patienten, die nur auf einstufigen, patientenspezifischen Daten basiert. Wir führen einen neuartigen part-aware Prompt-Mechanismus ein, um mehrere Punktprompts basierend auf den teilbezogenen Merkmalen der einstufigen Daten auszuwählen. Dieser Mechanismus kann weitreichend in verschiedene promptfähige Segmentierungsmodelle integriert werden, wie zum Beispiel SAM und SAM 2 (Segment Anything Model). Um die optimale Anzahl von Teilen für jeden spezifischen Fall zu bestimmen, schlagen wir einen verteilungsgeführten Retrieval-Ansatz vor, der die Robustheit des part-aware Prompt-Mechanismus weiter verbessert. $P^2SAM$ erhöht die Leistungsfähigkeit um +8,0 % und +2,0 % im Durchschnittlichen Dice-Koeffizienten für zwei unterschiedliche patientenangepasste Segmentierungsanwendungen. Darüber hinaus zeigt $P^2SAM$ auch beeindruckende Generalisierungsfähigkeiten in anderen adaptiven Segmentierungsaufgaben im Bereich natürlicher Bilder, z.B. +6,4 % mIoU (mean Intersection over Union) in der personalisierten Objektsegmentierungsaufgabe. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/Zch0414/p2sam