SAM2-UNet: Segment Anything 2 يشكل مُشفرًا قويًا لتقسيم الصور الطبيعية والطبية

يلعب تقسيم الصور دورًا مهمًا في فهم الرؤية. مؤخرًا، حققت النماذج الأساسية للرؤية الناشئة أداءً متفوقًا باستمرار في مهام مختلفة. استنادًا إلى هذا النجاح، نثبت في هذه الورقة أن نموذج تقسيم أي شيء 2 (SAM2) يمكن أن يكون مُشفِّرًا قويًا لنماذج التقسيم ذات الشكل U. نقترح إطار عمل بسيط ولكنه فعال، يُسمى SAM2-UNet، لتقسيم الصور المتعدد الاستخدامات. بشكل خاص، يستخدم SAM2-UNet هيكل SAM2 الأساسي (Hiera) كمُشفِّر، بينما يستخدم المُفكِّك التصميم الكلاسيكي ذي الشكل U. بالإضافة إلى ذلك، تم إدخال مكيفات (adapters) في المُشفِّر لتمكين التعديل الدقيق للبارامترات. تظهر التجارب الأولية على مهام متعددة منخفضة المستوى، مثل اكتشاف الأشياء المموهة، واكتشاف الأشياء البارزة، وتقسيم الحيوانات البحرية، واكتشاف المرآة، وتقسيم البوليبات، أن SAM2-UNet الخاص بنا يمكنه ببساطة التفوق على الطرق المتخصصة الأكثر تقدمًا حاليًا دون الحاجة إلى تعقيدات إضافية. صفحة المشروع: \url{https://github.com/WZH0120/SAM2-UNet}.