TransBTS: التصنيف المتعدد الوسائط للورم الدماغي باستخدام المحولات

تمكّن نموذج Transformer، الذي يمكنه الاستفادة من نمذجة المعلومات الشاملة (البعيدة المدى) باستخدام آليات الانتباه الذاتي، من تحقيق نجاح كبير في معالجة اللغة الطبيعية وتصنيف الصور ثنائية الأبعاد مؤخرًا. ومع ذلك، فإن كلًا من السمات المحلية والعالمية يُعدان أمرًا بالغ الأهمية في المهام التي تتطلب التنبؤ الكثيف، خاصة في تجزئة الصور الطبية ثلاثية الأبعاد. في هذه الورقة، نُقدِّم لأول مرة استخدامًا لنموذج Transformer في شبكة CNN ثلاثية الأبعاد لتجزئة أورام الدماغ بالرنين المغناطيسي، ونُقدِّم شبكة جديدة تُسمى TransBTS بناءً على هيكل المُشفِّر-المُفكِّك. لالتقاط المعلومات السياقية ثلاثية الأبعاد المحلية، يستخدم المُشفِّر أولًا CNN ثلاثية الأبعاد لاستخراج خرائط السمات الفضائية الحجمية. في الوقت نفسه، تُعاد صياغة خرائط السمات بشكل دقيق لتكون "رموزًا" (tokens) تُقدَّم إلى نموذج Transformer لتمثيل السمات العالمية. أما المُفكِّك، فيستفيد من السمات المدمجة بواسطة Transformer، وينفذ عملية تكبير تدريجي للتنبؤ بخريطة التجزئة التفصيلية. أظهرت النتائج التجريبية الواسعة على مجموعتي بيانات BraTS 2019 و2020 أن TransBTS تحقق نتائج مماثلة أو أفضل من الطرق الأحدث في مجال تجزئة أورام الدماغ باستخدام الصور ثلاثية الأبعاد بالرنين المغناطيسي. يمكن الوصول إلى الكود المصدري عبر الرابط التالي: https://github.com/Wenxuan-1119/TransBTS