DuAT: شبكة ترانسفورمر ذات التجميع المزدوج للتصنيف الطبي للصور

أثبتت النماذج القائمة على Transformer بشكل واسع نجاحها في مهام الرؤية الحاسوبية من خلال نمذجة الاعتماديات الطويلة المدى والتقاط التمثيلات الشاملة. ومع ذلك، فإنها غالبًا ما تُهيمن عليها ميزات الأنماط الكبيرة، مما يؤدي إلى فقدان التفاصيل المحلية (مثل الحدود والأجسام الصغيرة)، وهي عناصر حاسمة في تجزئة الصور الطبية. وللتخفيف من هذه المشكلة، نقترح شبكة تُسمى DuAT (Dual-Aggregation Transformer Network)، التي تتميز بتصميمين مبتَكِرين هما وحدة التجميع المكاني من العالمي إلى المحلي (GLSA) ووحدة التجميع المختار للحدود (SBA). تمتلك وحدة GLSA القدرة على تجميع وتمثيل الميزات المكانية العالمية والمكانية المحلية، وهي مفيدة على التوالي في تحديد الأجسام الكبيرة والصغيرة. أما وحدة SBA، فهي تُستخدم لتجميع خصائص الحدود من الميزات من المستوى المنخفض والمعلومات الدلالية من المستويات العليا، مما يعزز الحفاظ على التفاصيل الدقيقة للحدود وتحديد الأجسام المُعاد تكييفها. أظهرت التجارب الواسعة على ستة مجموعات بيانات معيارية أن النموذج المقترح يتفوق على أحدث الطرق في تجزئة صور التقرحات الجلدية وتكوينات الأمعاء الدقيقة (البوليبيات) في صور التنظير القولوني. علاوةً على ذلك، فإن منهجنا أكثر مقاومةً من الطرق الحالية في ظروف صعبة متعددة، مثل تجزئة الأجسام الصغيرة وحدود الأجسام غير الواضحة.