التحويلة النادرة من الخشنة إلى الدقيقة لاستعادة الصور فوقية الطيفية

تم تطوير العديد من الخوارزميات لحل المشكلة العكسية للتصوير الطيفي المختلط للصورة المتتالية (CASSI)، أي استعادة الصور الطيفية ثلاثية الأبعاد (HSIs) من قياسات مضغوطة ثنائية الأبعاد. في السنوات الأخيرة، أظهرت الأساليب القائمة على التعلم أداءً واعدًا وفرضت نفسها كاتجاه بحثي رئيسي. ومع ذلك، تُظهر الأساليب القائمة على الشبكات العصبية التلافيفية (CNN) قيودًا في التقاط الاعتماديات الطويلة المدى والتماثل الذاتي غير المحلي. أما الأساليب السابقة القائمة على المُحوّل (Transformer)، فهي تقوم بعينة كثيفة للرموز (tokens)، بعضها غير مفيد، وتُحسب انتباه ذاتي متعدد الرؤوس (MSA) بين رموز غير مرتبطة محتوىً، مما لا يتوافق مع الطبيعة النادرة فضائيًا للإشارات الطيفية ثلاثية الأبعاد ويحد من قابلية توسيع النموذج. في هذه الورقة، نقترح طريقة جديدة قائمة على المُحوّل، تُسمى المُحوّل النادر التدريجي (CST)، التي تُدمج أولًا ندرة الصور الطيفية ثلاثية الأبعاد في التعلم العميق لاستعادة HSI. وبشكل خاص، يستخدم CST آلية اختيار خشنة للقطع (patches) مُقترحة تُسمى آلية التصفية المُستندة إلى الطيف (SASM). ثم تُرسل القطع المختارة إلى وحدة انتباه ذاتي متعدد الرؤوس مُخصصة للجمع الطيفي (SAH-MSA) لإجراء تجميع دقيق للبكسلات وتحديد التماثل الذاتي. تُظهر التجارب الشاملة أن CST تتفوق بشكل كبير على أحدث الطرق المطروحة مع تقليل تكاليف الحوسبة. سيتم إصدار الكود والنماذج على الرابط: https://github.com/caiyuanhao1998/MST