مُعَلِّمٌ مُتَعَبِّرٌ طَوْرِيٌّ مُوجَّهٌ بِالْمَسْكَةِ لِإِعَادَةِ تَشْكِيلِ صُورِ الْمُنْتَجَاتِ الطَّوْرِيَّةِ بِكَفَاءَةٍ
تهدف إعادة بناء الصورة فوق الطيفية (HSI) إلى استرجاع الإشارة ثلاثية الأبعاد من حيث المساحة والطيف من قياس ثنائي الأبعاد في نظام التصوير الطيفي الملتقط بفتحة مشفرة (CASSI). وتتسم تمثيلات HSI بتشابه وارتباط عالٍ عبر البُعد الطيفي. ويساهم نمذجة التفاعلات بين الطيفيات في تحسين إعادة بناء HSI. ومع ذلك، تُظهر الطرق القائمة على الشبكات العصبية التلافيفية (CNN) قيودًا في التقاط التشابه الطيفي والاعتماديات الطويلة المدى. علاوةً على ذلك، يتم تضمين معلومات HSI بواسطة فتحة مشفرة (قناع فيزيائي) في نظام CASSI. ومع ذلك، لم تستغل الخوارزميات الحالية بشكل كامل التأثير التوجيهي لهذا القناع في استعادة HSI. في هذا البحث، نقترح إطارًا جديدًا يُسمى "مُوجه بالقناع: المحول الطيفي (MST)" لإعادة بناء HSI. وتحديدًا، نقدم آلية "الانتباه الذاتي متعدد الرؤوس الطيفي (S-MSA)" التي تُعامل كل ميزة طيفية كـ "رمز" (token) وتحسب الانتباه الذاتي على طول البُعد الطيفي. بالإضافة إلى ذلك، نُصمم آلية مُوجهة بالقناع (MM) التي توجه S-MSA لتركيز الانتباه على المناطق المكانية التي تمتلك تمثيلات طيفية عالية الدقة. تُظهر التجارب الواسعة أن MST يتفوق بشكل كبير على أحدث الطرق (SOTA) على مجموعات بيانات HSI المحاكاة والواقعية، مع تقليل كبير في التكاليف الحسابية والذاكرة المستهلكة. يمكن الوصول إلى الكود والنماذج المُدرّبة مسبقًا من خلال الرابط التالي: https://github.com/caiyuanhao1998/MST/