روابط عصبية تكيفية لتعلم الندرة

تهدف التعلّم بالكثافة المنخفضة (Sparsity learning) إلى تقليل التكاليف الحسابية والذاكرة للشبكات العصبية العميقة الكبيرة (DNNs) من خلال قطع الاتصالات العصبية مع الحفاظ في الوقت نفسه على دقة عالية. وقد تم تطوير عدد كبير من الأساليب المتعلقة بالتعلّم بالكثافة المنخفضة، وقد أظهرت تجارب حديثة على نطاق واسع أن طريقتين رئيسيتين، وهما قطع القيم المطلقة (Magnitude Pruning) والانفصال التوليدي (Variational Dropout - VD)، تحققان نتائج متميزة مماثلة في المهام التصنيفية. نقترح طريقة تُسمى الاتصالات العصبية التكيفية (Adaptive Neural Connections - ANC)، وهي طريقة لتمثيل صريح للاتصالات الدقيقة بين الخلايا العصبية (neuron-to-neuron) باستخدام مصفوفات الجوار (adjacency matrices) في كل طبقة، حيث يتم تعلّم هذه المصفوفات من خلال التمرير العكسي (backpropagation). يوفر التمثيل الصريح للاتصالات بين الخلايا العصبية ميزة رئيسية: أولاً، يمكن تحسين الكثافة المنخفضة صراحةً من خلال تنظيم قائم على القيمة المطلقة (norm-based regularization) على مصفوفات الجوار؛ وثانياً، عند دمجها مع الانفصال التوليدي (VD)، والتي نسميها ANC-VD، يمكن تفسير مصفوفات الجوار كمعاملات مُتعلّمة لقيمة الأوزان، ونفترض أن هذا يؤدي إلى تحسين في التقارب بالنسبة لـ VD. أظهرت التجارب على نموذج ResNet18 أن المعمارية المُحسّنة باستخدام ANC تتفوق على نسخها الأصلية (vanilla).