MAS-SAM: تقسيم أي حيوان بحري باستخدام الخصائص المجمعة

في الآونة الأخيرة، أظهر نموذج Segment Anything Model (SAM) أداءً استثنائيًا في توليد أقنعة كائنات عالية الجودة وتحقيق تقسيم الصور دون الحاجة إلى التدريب المسبق (zero-shot image segmentation). ومع ذلك، باعتباره نموذجًا بصريًا متعدد الاستخدامات، يتم تدريب SAM بشكل أساسي باستخدام صور طبيعية على نطاق واسع. في المشاهد تحت الماء، يعاني النموذج من تدهور كبير في الأداء بسبب تشتت الضوء والامتصاص. بالإضافة إلى ذلك، قد يؤدي بساطة مفكك SAM (الديكودر) إلى فقدان تفاصيل الكائنات الدقيقة. لمعالجة هذه القضايا، نقترح إطارًا جديدًا للتعلم المميز يُسمى MAS-SAM لتقسيم الحيوانات البحرية، والذي يتضمن دمج متكيفات فعالة في مُشفِّر SAM (الإنكودر) وبناء مفكك هرمي (ديكودر). بشكل أكثر تحديدًا، نقوم أولًا ببناء مُشفِّر SAM جديد مع متكيفات فعالة للمشاهد تحت الماء. ثم، نقدم وحدة استخراج الخريطة الفائقة (Hypermap Extraction Module - HEM) لتوليد خصائص متعددة القياسات لتقديم إرشاد شامل. وأخيرًا، نقترح مفكك التنبؤ التدريجي (Progressive Prediction Decoder - PPD) لجمع الخصائص المتعددة القياسات والتنبؤ بنتائج التقسيم النهائية.عند دمجها بوحدة الانتباه الاندماجي (Fusion Attention Module - FAM)، يمكن لطريقتنا استخراج معلومات بحرية غنية من المؤشرات السياقية العالمية إلى التفاصيل المحلية الدقيقة. أثبتت التجارب الواسعة على أربعة قواعد بيانات عامة لـ MAS أن MAS-SAM يمكنه الحصول على نتائج أفضل من الأساليب الأخرى الشائعة في التقسيم. يمكن الوصول إلى شفرة المصدر عبر الرابط: https://github.com/Drchip61/MAS-SAM.