AutoSAM: تكييف SAM للصور الطبية من خلال تحميل مُشفر الدفع

النموذج الجديد المُدخل حديثًا "Segment Anything Model" (SAM) يجمع بين بنية ذكية وكميات كبيرة من بيانات التدريب للحصول على قدرات فصل صورية ملحوظة. ومع ذلك، يفشل في إنتاج مثل هذه النتائج في مجالات خارج التوزيع (OOD) مثل الصور الطبية. بالإضافة إلى ذلك، بينما يتم تكييف SAM إما بماسك أو مجموعة من النقاط، قد يكون من المرغوب الحصول على حل تلقائي تمامًا. في هذا العمل، نستبدل تكييف SAM بمحودِّد يعمل على نفس الصورة الإدخالية. عن طريق إضافة هذا المحودِّد دون أي تعديل دقيق إضافي لـ SAM، نحصل على نتائج رائدة في عدة مقاييس للصور والفيديوهات الطبية. يتم تدريب هذا المحودِّد الجديد عبر التدرجات التي توفرها SAM المجمدة. لفحص المعرفة داخله وتقديم حل فصل صوري خفيف الوزن، نتعلم أيضًا كيفية فكه إلى ماسك بواسطة شبكة تفكيك سطحية (shallow deconvolution network).