Medical SAM Adapter: Anpassung des Segment Anything Model für die medizinische Bildsegmentierung

Das Segment Anything Model (SAM) hat in letzter Zeit aufgrund seiner beeindruckenden Leistungsfähigkeit bei verschiedenen Segmentierungsaufgaben und seiner promptbasierten Schnittstelle an Beliebtheit in der Bildsegmentierung gewonnen. Allerdings haben jüngere Studien und einzelne Experimente gezeigt, dass SAM bei der Segmentierung medizinischer Bilder unterdurchschnittlich abschneidet, da es fehlende spezifische medizinische Wissensbasis aufweist. Dies wirft die Frage auf, wie die Segmentierungskapazität von SAM für medizinische Bilder verbessert werden kann. In diesem Artikel schlagen wir anstelle einer Feinabstimmung des SAM-Modells den Medical SAM Adapter (Med-SA) vor, der mithilfe einer leichtgewichtigen und dennoch effektiven Anpassungstechnik domänenspezifisches medizinisches Wissen in das Segmentierungsmodell integriert. Im Rahmen von Med-SA führen wir die Space-Depth Transpose (SD-Trans) ein, um das 2D-SAM auf 3D-medizinische Bilder anzupassen, sowie den Hyper-Prompting Adapter (HyP-Adpt), um promptgesteuerte Anpassung zu ermöglichen. Wir führen umfassende Evaluationsexperimente an 17 Aufgaben der medizinischen Bildsegmentierung durch, die verschiedene Bildmodaliäten abdecken. Med-SA übertrifft mehrere state-of-the-art (SOTA)-Methoden für die medizinische Bildsegmentierung, wobei lediglich 2 % der Parameter aktualisiert werden. Der Quellcode ist unter https://github.com/KidsWithTokens/Medical-SAM-Adapter veröffentlicht.