HDNet: تعلّم ثنائي المجال عالي الدقة للتصوير الطيفي المضغوط

يُقدّم التطوّر السريع للتعلم العميق حلاً أفضل لإعادة بناء الصور الطيفية الفائقة (HSI) بطريقة نهاية إلى نهاية. ومع ذلك، تمتلك الطرق القائمة على التعلّم الحالية عيبين رئيسيين. أولاً، غالبًا ما تتضح الشبكات التي تعتمد على الانتباه الذاتي بفقدان الدقة الداخلية لموازنة أداء النموذج مع التعقيد، مما يؤدي إلى فقدان ميزات عالية الدقة (HR) الدقيقة. ثانيًا، حتى لو توصّل التحسين المركّز على تعلّم المجال المكاني-الطيفي (SDL) إلى الحل المثالي، فإن هناك فرقًا بصريًا كبيرًا بين الصورة الطيفية المعاد بناؤها والصورة الحقيقية. لذلك، نقترح شبكة تعلّم ثنائية المجال عالية الدقة (HDNet) لإعادة بناء الصور الطيفية الفائقة. من جهة، يوفّر الوحدة الانتباهية المكانية-الطيفية عالية الدقة المُقترحة، مع دمج فعّال للميزات، ميزات مستمرة ودقيقة على مستوى البكسل. ومن جهة أخرى، يتم دمج تعلّم المجال الترددي (FDL) في إعادة بناء الصور الطيفية الفائقة لتقليل الفجوة في المجال الترددي. وتُفرض مراقبة FDL الديناميكية على النموذج لإعادة بناء الترددات الدقيقة، والتعويض عن التسطيح الزائد والتشويه الناتج عن خسائر مستوى البكسل. وتدعم الميزة المكانية عالية الدقة والتحسين على مستوى الترددات بعضهما البعض في تحسين الجودة البصرية للصورة الطيفية الفائقة. تُظهر تجارب التقييم الكمية والكيفية الواسعة أداءً متفوّقًا (SOTA) لطرقنا على مجموعات بيانات محاكاة وحقيقية للصور الطيفية الفائقة. سيتم إتاحة الكود والنموذج على الرابط: https://github.com/caiyuanhao1998/MST