HyperAIHyperAI

Command Palette

Search for a command to run...

مُعَلِّمٌ مُتَعَبِّرٌ طَوْرِيٌّ مُوجَّهٌ بِالْمَسْكَةِ لِإِعَادَةِ تَشْكِيلِ صُورِ الْمُنْتَجَاتِ الطَّوْرِيَّةِ بِكَفَاءَةٍ

Yuanhao Cai Jing Lin Xiaowan Hu Haoqian Wang Xin Yuan Yulun Zhang Radu Timofte Luc Van Gool

الملخص

تهدف إعادة بناء الصورة فوق الطيفية (HSI) إلى استرجاع الإشارة ثلاثية الأبعاد من حيث المساحة والطيف من قياس ثنائي الأبعاد في نظام التصوير الطيفي الملتقط بفتحة مشفرة (CASSI). وتتسم تمثيلات HSI بتشابه وارتباط عالٍ عبر البُعد الطيفي. ويساهم نمذجة التفاعلات بين الطيفيات في تحسين إعادة بناء HSI. ومع ذلك، تُظهر الطرق القائمة على الشبكات العصبية التلافيفية (CNN) قيودًا في التقاط التشابه الطيفي والاعتماديات الطويلة المدى. علاوةً على ذلك، يتم تضمين معلومات HSI بواسطة فتحة مشفرة (قناع فيزيائي) في نظام CASSI. ومع ذلك، لم تستغل الخوارزميات الحالية بشكل كامل التأثير التوجيهي لهذا القناع في استعادة HSI. في هذا البحث، نقترح إطارًا جديدًا يُسمى "مُوجه بالقناع: المحول الطيفي (MST)" لإعادة بناء HSI. وتحديدًا، نقدم آلية "الانتباه الذاتي متعدد الرؤوس الطيفي (S-MSA)" التي تُعامل كل ميزة طيفية كـ "رمز" (token) وتحسب الانتباه الذاتي على طول البُعد الطيفي. بالإضافة إلى ذلك، نُصمم آلية مُوجهة بالقناع (MM) التي توجه S-MSA لتركيز الانتباه على المناطق المكانية التي تمتلك تمثيلات طيفية عالية الدقة. تُظهر التجارب الواسعة أن MST يتفوق بشكل كبير على أحدث الطرق (SOTA) على مجموعات بيانات HSI المحاكاة والواقعية، مع تقليل كبير في التكاليف الحسابية والذاكرة المستهلكة. يمكن الوصول إلى الكود والنماذج المُدرّبة مسبقًا من خلال الرابط التالي: https://github.com/caiyuanhao1998/MST/


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp