التصوير الطيفي المضغوط من الطرف إلى الطرف منخفض التكلفة مع الانتباه الفرعي الفرقي-الزماني

تُعدُّ التصوير الطيفي الثلاثي الأبعاد المُشفر بفتحة مُستعرضة (CASSI) أداة فعّالة لالتقاط صور طيفية فائقة ثلاثية الأبعاد في العالم الحقيقي. وعلى الرغم من عدد كبير من الدراسات السابقة التي ركّزت على تصميم الأجهزة والخوارزميات، نتقدّم خطوة نحو حلٍّ منخفض التكلفة يتمتع بإعادة بناء عالية الجودة وبمعدل فيديو. ولتحقيق تقدّم ملموس في هذه المهمة الصعبة ولكنها مُهمَّشة، نعيد بناء نظام CASSI مستقر يعتمد على عنصر تشتت وحيد (SD) لجمع بيانات CASSI واقعية وشاملة، ونُقدّم شبكة عميقة جديدة ذات تنقلات تلافيفية (deep convolutional network) تقوم بإعادة البناء في الوقت الفعلي باستخدام الانتباه الذاتي. ولالتقاط الانتباه الذاتي بشكل مشترك عبر أبعاد مختلفة في الصور الطيفية الفائقة (أي الارتباط الطيفي بين القنوات والمناطق المكانية غير المحلية)، نقترح طريقة تُسمّى "الانتباه الذاتي المكاني-الطيفي" (TSA) التي تعالج كل بعد تباعًا، ولكن بطريقة لا تعتمد على الترتيب. ونُطبّق TSA في شبكة مشفرة-فكّر (encoder-decoder)، تُدعى TSA-Net، لإعادة بناء المكعب ثلاثي الأبعاد المطلوب. علاوةً على ذلك، نُجري دراسة حول تأثير الضوضاء على النتائج، ونُقترح إضافة ضوضاء التصوير (shot noise) أثناء تدريب النموذج، مما يُحسّن النتائج على البيانات الواقعية بشكل ملحوظ. نأمل أن تُسهم بياناتنا الكبيرة الحجم من CASSI في المستقبل كمعيار مرجعي في الأبحاث، وأن يُعتبر نموذجنا TSA نقطة مرجعيّة في الخوارزميات القائمة على التعلم العميق لإعادة البناء.