HyperAIHyperAI

Command Palette

Search for a command to run...

DIANet: شبكة الانتباه الكثيفة الضمنية

Zhongzhan Huang Senwei Liang Mingfu Liang Haizhao Yang

الملخص

شبكات الانتباه (الاهتمام) نجحت في تعزيز الأداء في مجموعة متنوعة من مشاكل الرؤية. ركزت الأعمال السابقة على تصميم وحدة انتباه جديدة وإدخالها بشكل فردي في الشبكات. تقترح هذه الورقة إطارًا جديدًا وبسيطًا يشارك وحدة الانتباه عبر طبقات الشبكة المختلفة لتشجيع دمج المعلومات الطبقية، وتُشار إلى هذا الوحدة المشتركة للمعلمات باسم وحدة الانتباه الكثيف الضمني (Dense-and-Implicit-Attention - DIA). يمكن استخدام العديد من الخيارات للوحدات في وحدة DIA. نظرًا لقدرة ذاكرة الحالة طويلة المدى قصيرة المدى (Long Short Term Memory - LSTM) على التقاط التبعية البعيدة، نركز على الحالة التي تكون فيها وحدة DIA هي LSTM المعدل (يشار إليها بـ DIA-LSTM). تظهر التجارب على مجموعات البيانات المرجعية أن وحدة DIA-LSTM قادرة على التركيز على العلاقات بين الخصائص الطبقية مما يؤدي إلى تحسين كبير في دقة تصنيف الصور. أظهرنا أيضًا بالتجربة أن DIA-LSTM لديها قدرة تنظيمية قوية على تثبيت تدريب الشبكات العميقة من خلال إجراء تجارب بإزالة الروابط القفازية أو التطبيع الدفقي (Batch Normalization) في الشبكة الباقية بأكملها. تم إطلاق الكود في https://github.com/gbup-group/DIANet.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp