مُحَوِّل الرؤية الهرمي متعدد المقياس مع فك تشفير الانتباه المتسلسل لتصنيف الصور الطبية

أظهرت نماذج التحويل (Transformers) نجاحًا كبيرًا في تقسيم الصور الطبية. ومع ذلك، قد تُظهر هذه النماذج قدرة محدودة على التعميم بسبب آلية الانتباه الذاتي ذات المقياس الواحد (SA) الكامنة وراءها. في هذه الورقة، نعالج هذه المشكلة من خلال تقديم شبكة أساسية جديدة تُسمى "مُحول الرؤية متعدد المقياسات الهرمي (MERIT)"، والتي تُحسّن قدرة النموذج على التعميم من خلال حساب الانتباه الذاتي على عدة مقاييس. كما ندمج أيضًا مشغلًا مبنيًا على الانتباه، يُعرف باسم "التقسيم التسلسلي للانتباه (CASCADE)"، لتحسين مزيد من التفاصيل للسمات متعددة المراحل التي تُولّدها MERIT. وأخيرًا، نُقدّم طريقة فعّالة لجمع الخسارة من خلال مزج السمات متعددة المراحل، تُسمى "MUTATION"، والتي تُحسّن تدريب النموذج من خلال تجميع ضمني (implicit ensembling). أظهرت تجاربنا على معيارين شائعي الاستخدام في تقسيم الصور الطبية (ألا وهو Synapse متعدد الأعضاء وACDC) أداءً متفوقًا لنموذج MERIT مقارنة بالأساليب الحالية المتطورة. يمكن استخدام معمارية MERIT وطريقة جمع الخسارة MUTATION في مهام متعددة تتعلق بالتقسيم الطبي والتقسيم الدلالي للصور.