MST++: متعدد المراحل المتغير الطيفي لاعادة بناء الطيف بكفاءة

الطرق الحالية الرائدة لإعادة بناء الطيف (SR) تركز على تصميم شبكات عصبية تقنية التعلم العميق (CNNs) أعمق أو أوسع لتعلم الخريطة من النهاية إلى النهاية من الصورة ذات الألوان الحمراء والخضراء والزرقاء (RGB) إلى صورتها الفائقة الطيفية (HSI). رغم أن هذه الطرق القائمة على CNN تحقق أداءً استرجاعيًا مثيرًا للإعجاب، إلا أنها تظهر قيودًا في التقاط الارتباطات طويلة المدى والتشابه الذاتي. لمعالجة هذه المشكلة، نقترح طريقة جديدة قائمة على Transformer، وهي متعدد المراحل لمُعيد بناء الطيف (MST++)، لتحقيق إعادة بناء طيف فعالة. بشكل خاص، نستخدم انتباه متعدد الرؤوس طيفيًا (S-MSA)، الذي يعتمد على طبيعة HSI النادرة في الفضاء ولكن مشابهة ذاتيًا في الطيف لإنشاء الوحدة الأساسية، وهي كتلة الانتباه الطيفي (SAB). ثم تقوم الكتل SAB ببناء مُعيد بناء الطيف بمراحل واحدة (SST)، الذي يستغل هيكلًا على شكل حرف U لاستخراج المعلومات السياقية متعددة الدقة. وأخيرًا، يتكون MST++ الخاص بنا من عدة SSTs متتابعة، مما يحسن جودة الاسترجاع تدريجيًا من الخشن إلى الدقيق. تظهر التجارب الشاملة أن MST++ الخاص بنا يتفوق بشكل كبير على الأساليب الرائدة الأخرى. في تحدي إعادة بناء الطيف NTIRE 2022، فازت طريقتنا بالمركز الأول. يتم توفير الكود والنماذج المدربة مسبقًا بشكل عام عبر الرابط: https://github.com/caiyuanhao1998/MST-plus-plus.