DIANet: شبكة الانتباه الكثيفة الضمنية

شبكات الانتباه (الاهتمام) نجحت في تعزيز الأداء في مجموعة متنوعة من مشاكل الرؤية. ركزت الأعمال السابقة على تصميم وحدة انتباه جديدة وإدخالها بشكل فردي في الشبكات. تقترح هذه الورقة إطارًا جديدًا وبسيطًا يشارك وحدة الانتباه عبر طبقات الشبكة المختلفة لتشجيع دمج المعلومات الطبقية، وتُشار إلى هذا الوحدة المشتركة للمعلمات باسم وحدة الانتباه الكثيف الضمني (Dense-and-Implicit-Attention - DIA). يمكن استخدام العديد من الخيارات للوحدات في وحدة DIA. نظرًا لقدرة ذاكرة الحالة طويلة المدى قصيرة المدى (Long Short Term Memory - LSTM) على التقاط التبعية البعيدة، نركز على الحالة التي تكون فيها وحدة DIA هي LSTM المعدل (يشار إليها بـ DIA-LSTM). تظهر التجارب على مجموعات البيانات المرجعية أن وحدة DIA-LSTM قادرة على التركيز على العلاقات بين الخصائص الطبقية مما يؤدي إلى تحسين كبير في دقة تصنيف الصور. أظهرنا أيضًا بالتجربة أن DIA-LSTM لديها قدرة تنظيمية قوية على تثبيت تدريب الشبكات العميقة من خلال إجراء تجارب بإزالة الروابط القفازية أو التطبيع الدفقي (Batch Normalization) في الشبكة الباقية بأكملها. تم إطلاق الكود في https://github.com/gbup-group/DIANet.