HyperAIHyperAI

Command Palette

Search for a command to run...

UPANets: التعلم من الشبكات الوحدوية لانتباه البكسل

Ching-Hsun Tseng Shin-Jye Lee Jia-Nan Feng Shengzhong Mao Yu-Ping Wu Jia-Yu Shang Mou-Chung Tseng Xiao-Jun Zeng

الملخص

في مجال تصنيف الصور، سادت الشبكات القائمة على الاتصالات المُتَجاوزة (skip) والاتصالات الكثيفة (densely-connected) في معظم لوحات التصنيف القيادية. في الآونة الأخيرة، وبفضل النجاح الكبير الذي حققته الانتباه متعدد الرؤوس (multi-head attention) في معالجة اللغة الطبيعية، أصبح من المؤكد أن الوقت قد حان لاعتماد نموذج مشابه لنموذج Transformer أو دمج الشبكات العصبية التلافيفية (CNNs) مع تقنيات الانتباه. ومع ذلك، فإن النموذج الأول يتطلب موارد هائلة لتدريبه، بينما يُعد النموذج الثاني في التوازن المثالي في هذا الاتجاه. في هذه الدراسة، لتمكين الشبكات العصبية التلافيفية من معالجة المعلومات المحلية والعالمية معًا، قمنا بتطوير نموذج يُسمى UPANets، والذي يُزود بانتباه حسب القناة (channel-wise attention) وبنية ترابط هجينة مُدمجة من الاتصالات المُتَجاوزة والكثيفة. علاوة على ذلك، تجعل البنية المتصلة بشكل مُفرط (extreme-connection structure) من UPANets أكثر مقاومة، وتوفر سطح خسارة أملس. في التجارب، تفوق UPANets على معظم النماذج الرائدة والشائعة الاستخدام (SOTAs)، بتحقيق دقة بلغت 96.47% على مجموعة بيانات CIFAR-10، و80.29% على CIFAR-100، و67.67% على Tiny ImageNet. والأهم من ذلك، أن هذه الأداء يُحقق كفاءة عالية من حيث عدد المعاملات (parameters efficiency)، وتم تدريبه فقط على وحدة معالجة رسومية واحدة (GPU) مخصصة. نُشِر كود التنفيذ الخاص بـ UPANets على الرابط التالي: https://github.com/hanktseng131415go/UPANets.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp