كيف تؤثر البنية الطوبولوجية للهياكل العصبية على انتقال المدى والفعالية النموذجية؟

تُقدّم شبكة DenseNets اتصالات متعددة من نوع الربط المُتسلسل (concatenation-type skip connections) التي تحقق دقة متقدمة على مستوى الحد الأقصى في عدة مهام رؤية حاسوبية. في هذه الورقة البحثية، نُكشف أن البنية التحتية (الهندسة المعمارية) للاتصالات من نوع الربط المُتسلسل مرتبطة ارتباطًا وثيقًا بتوصيل التدرجات (gradient propagation)، وهو ما يُمكّن بدوره من توقع سلوك أداء الشبكات العصبية العميقة (DNNs) عند الاختبار. من أجل تحقيق ذلك، نُقدّم مقياسًا جديدًا يُسمى NN-Mass لقياس مدى كفاءة تدفق المعلومات عبر الشبكات العصبية العميقة. علاوةً على ذلك، نُظهر تجريبيًا أن مقياس NN-Mass يُعمل أيضًا مع أنواع أخرى من الاتصالات المُتسلسلة، مثل شبكات ResNets وWide-ResNets (WRNs) وMobileNets، التي تحتوي على اتصالات من نوع الجمع (addition-type skip connections)، أي القيم المتبقية (residuals) أو القيم المُعاكسة (inverted residuals). وبهذا، يمكن لمقياس NN-Mass القائم على أساس نظري أن يُحدد النماذج ذات الدقة المماثلة، سواء في شبكات مشابهة لـ DenseNet أو في شبكات ResNets/WRNs/MobileNets، رغم اختلاف حجمها أو متطلبات الحوسبة بشكل كبير. وتقدّم التجارب التفصيلية على مجموعات بيانات مُصطنعة وواقعية (مثل MNIST وCIFAR-10 وCIFAR-100 وImageNet) أدلة واسعة على رؤانا. وأخيرًا، تسمح المعادلة التحليلية المغلقة (closed-form equation) الخاصة بـ NN-Mass بتصميم شبكات DenseNets مُضغوطة بشكل كبير (لـ CIFAR-10) وشبكات MobileNets (لـ ImageNet) مباشرةً عند التهيئة، دون الحاجة إلى عمليات تدريب أو بحث مكلفة زمنيًا.