مُعدِّل SAM الطبي: تكييف نموذج التجزئة المجردة للتصوير الطبي

نموذج Segment Anything (SAM) اكتسب مؤخرًا شعبية في مجال تقسيم الصور بفضل قدراته المميزة في مهام تقسيم الصور المختلفة، وواجهته القائمة على المُحفِّزات (prompt-based). ومع ذلك، أظهرت دراسات حديثة وتجارب فردية أن نموذج SAM يُعاني من أداء ضعيف في تقسيم الصور الطبية، نظرًا لغياب المعرفة الخاصة بالقطاع الطبي. هذا يثير السؤال حول كيفية تحسين قدرة نموذج SAM على تقسيم الصور الطبية. في هذه الورقة، بدلًا من التخصيص الدقيق (fine-tuning) لنموذج SAM، نقترح ما يُعرف بـ "مُعدِّل SAM الطبي" (Med-SA)، الذي يُدمج المعرفة الطبية الخاصة بالمجال في نموذج التقسيم باستخدام تقنية تكييف خفيفة ولكنها فعّالة. في إطار Med-SA، نُقدّم تقنية التحويل المكاني-العمقي (SD-Trans) لتحويل نموذج SAM ثنائي الأبعاد إلى نموذج يُعالج الصور الطبية ثلاثية الأبعاد، وتقنية مُعدِّل المُحفِّزات الفائقة (HyP-Adpt) لتحقيق تكييف يعتمد على المُحفِّزات. أجرينا تقييمًا شاملاً للتجربة على 17 مهمة لتقسيم الصور الطبية في مختلف أنواع التصوير. أظهر Med-SA تفوقًا على عدة طرق حديثة متقدمة (SOTA) في تقسيم الصور الطبية، مع تحديث ما يقارب 2% فقط من المعاملات. تم إصدار الكود الخاص بنا على الرابط التالي: https://github.com/KidsWithTokens/Medical-SAM-Adapter.