ProMISe: التجزئة الطبية للصورة القابلة للتحفيز باستخدام SAM

مع اقتراح نموذج Segment Anything (SAM)، أصبح تخصيص SAM لتقسيم الصور الطبية (MIS) أمرًا شائعًا. ومع ذلك، نظرًا لحجم نموذج SAM الكبير والفارق الكبير بين المجالات الطبيعية والطبية، فإن الاستراتيجيات القائمة على التخصيص (fine-tuning) تكون مكلفة وتحمل مخاطر محتملة من عدم الاستقرار، وتلف الميزات، والانسياق الكارثي (catastrophic forgetting). علاوةً على ذلك، تُفقد بعض الطرق التي تقوم بتحويل SAM إلى مجال محدد من تقسيم الصور الطبية من خلال استراتيجيات التخصيص قدرة النموذج على الاستجابة للمطالبات (prompting)، مما يحد بشكل كبير من سيناريوهات استخدامه. في هذا البحث، نقترح وحدة توليد مطالبات تلقائية (Auto-Prompting Module - APM)، التي توفر للنموذج الأساسي القائم على SAM مطالبات مُعدّلة هندسيًا (Euclidean adaptive prompts) في المجال المستهدف. تُظهر التجارب أن هذه المطالبات المُعدّلة تحسّن بشكل كبير من أداء SAM دون الحاجة إلى التخصيص في مجال تقسيم الصور الطبية. بالإضافة إلى ذلك، نقترح طريقة جديدة وغير جراحية تُسمى التحويل التدريجي للنمط (Incremental Pattern Shifting - IPS)، والتي تُستخدم لتكييف SAM مع المجالات الطبية المحددة. تُظهر النتائج التجريبية أن IPS تُمكّن SAM من تحقيق أداءً من الدرجة الأولى أو منافسًا في مجال تقسيم الصور الطبية دون الحاجة إلى التخصيص. وباستخدام هاتين الطريقتين معًا، نقترح إطار عمل ProMISe، وهو إطار عمل من الطرف إلى الطرف (end-to-end) غير مُخصص لتقسيم الصور الطبية القابل للمطالبة. تُظهر تجاربنا أن استخدام كل من الطريقة بشكل منفصل أو معًا يحقق أداءً مرضيًا في التحويل النمطي منخفض التكلفة، مع بقاء جميع معاملات SAM ثابتة (مجمدة).