إعادة التفكير في الانتباه المُدار بواسطة بوابة مع مُحول-شبكة عصبية هجينة ذات هرمين مزدوجين للتقسيم العام في التصوير الطبي

مستوحاة من النجاح الذي حققته نماذج Transformers في مجال الرؤية الحاسوبية، تم استكشاف استخدام نماذج Transformers على نطاق واسع في مهام تقسيم الصور الطبية. ومع ذلك، فإن معظم هياكل Transformers الحالية تعتمد على استخدام المعمارية الحديثة لـ Transformers كـ Encoder، أو كـ Encoder موازٍ لـ Encoder يعتمد على الشبكات العصبية التلافيفية (CNN). في هذا البحث، نقدم معمارية هجينة مبتكرة لتقسيم الصور الطبية تجمع بين CNN وTransformers، تُعرف بـ (PAG-TransYnet)، مصممة لبناء Encoder قوي وفعال يجمع بين قدرات CNN وTransformers. تعتمد منهجيتنا على استخدام بوابات الانتباه داخل مُشغّل هجين مزدوج الهرم (Dual Pyramid). ويمكن تلخيص إسهامات هذه الطريقة في ثلاث جوانب رئيسية: (أ) استخدام مدخلات هرمية (Pyramid input) لتسليط الضوء على السمات البارزة على مختلف المقاييس، (ب) دمج نموذج PVT Transformer لالتقاط الاعتماديات طويلة المدى عبر مختلف الدقة، و(ج) تنفيذ آلية بوابة انتباه مزدوجة (Dual-Attention Gate) لدمج فعّال للسمات البارزة الناتجة عن كل من فرع CNN وفرع Transformer. وقد أظهرت النتائج، من خلال تقييم شامل على مهام تقسيم مختلفة تشمل: تقسيم الأعضاء المتعددة في البطن، وتقسيم مناطق العدوى (كوفيد-19 والورم النخاعي)، وتقسيم الأنسجة الدقيقة (الغدد والنووية)، أداءً يُعد من أفضل الأداءات المُحققة في المجال، مع تميّز واضح في القدرة على التعميم. تمثل هذه الدراسة تقدماً مهماً نحو تلبية الحاجة الملحة لحلول فعّالة وقابلة للتكيف في مهام التقسيم بالصور الطبية.