HyperAIHyperAI

Command Palette

Search for a command to run...

MST++: متعدد المراحل المتغير الطيفي لاعادة بناء الطيف بكفاءة

Yuanhao Cai Jing Lin Zudi Lin Haoqian Wang Yulun Zhang Hanspeter Pfister Radu Timofte Luc Van Gool

الملخص

الطرق الحالية الرائدة لإعادة بناء الطيف (SR) تركز على تصميم شبكات عصبية تقنية التعلم العميق (CNNs) أعمق أو أوسع لتعلم الخريطة من النهاية إلى النهاية من الصورة ذات الألوان الحمراء والخضراء والزرقاء (RGB) إلى صورتها الفائقة الطيفية (HSI). رغم أن هذه الطرق القائمة على CNN تحقق أداءً استرجاعيًا مثيرًا للإعجاب، إلا أنها تظهر قيودًا في التقاط الارتباطات طويلة المدى والتشابه الذاتي. لمعالجة هذه المشكلة، نقترح طريقة جديدة قائمة على Transformer، وهي متعدد المراحل لمُعيد بناء الطيف (MST++)، لتحقيق إعادة بناء طيف فعالة. بشكل خاص، نستخدم انتباه متعدد الرؤوس طيفيًا (S-MSA)، الذي يعتمد على طبيعة HSI النادرة في الفضاء ولكن مشابهة ذاتيًا في الطيف لإنشاء الوحدة الأساسية، وهي كتلة الانتباه الطيفي (SAB). ثم تقوم الكتل SAB ببناء مُعيد بناء الطيف بمراحل واحدة (SST)، الذي يستغل هيكلًا على شكل حرف U لاستخراج المعلومات السياقية متعددة الدقة. وأخيرًا، يتكون MST++ الخاص بنا من عدة SSTs متتابعة، مما يحسن جودة الاسترجاع تدريجيًا من الخشن إلى الدقيق. تظهر التجارب الشاملة أن MST++ الخاص بنا يتفوق بشكل كبير على الأساليب الرائدة الأخرى. في تحدي إعادة بناء الطيف NTIRE 2022، فازت طريقتنا بالمركز الأول. يتم توفير الكود والنماذج المدربة مسبقًا بشكل عام عبر الرابط: https://github.com/caiyuanhao1998/MST-plus-plus.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp