اكتشاف التوصيلات العصبية

نجاح الشبكات العصبية قد أدى إلى تحول في التركيز من هندسة المميزات إلى هندسة العمارة. ومع ذلك، يتم بناء الشبكات الناجحة اليوم باستخدام مجموعة صغيرة ومحددة يدويًا من الوحدات الأساسية. حتى في طرق البحث عن عمارة الشبكة العصبية (Neural Architecture Search - NAS)، فإن أنماط الاتصال بين عناصر الشبكة مقيّدة بشكل كبير. في هذا العمل، نقترح طريقة لاكتشاف التوصيلات العصبية. نخفف من المفهوم التقليدي للطبقات ونسمح بدلاً من ذلك للقنوات بتكوين اتصالات مستقلة عن بعضها البعض. هذا يتيح مجالًا أكبر بكثير من الشبكات الممكنة. توصيل شبكتنا ليس ثابتًا أثناء التدريب -- بينما نتعلم معلمات الشبكة، نتعلم أيضًا هيكلها نفسه. تظهر تجاربنا أن الاتصال الذي تم تعلمه يتفوق على الشبكات التي تم تصميمها يدويًا والشبكات المتصلة بشكل عشوائي. من خلال تعلم الاتصال لـ MobileNetV1، نزيد دقة ImageNet بنسبة 10% عند حوالي 41 مليون عملية نقطة عائمة (FLOPs). بالإضافة إلى ذلك، نوضح أن طرقتنا تنطبق على الشبكات التكرارية والشبكات الزمنية المستمرة. يمكن اعتبار عملنا أيضًا كتوحيد جوانب أساسية من مشكلة البحث عن عمارة الشبكة العصبية مع تعلم الشبكات العصبية النادرة. مع زيادة دقة NAS، فإن العثور على عمارة جيدة يشبه العثور على شبكة فرعية نادرة من الرسم البياني الكامل. وفقًا لذلك، توفر DNW آلية فعالة لاكتشاف شبكات فرعية نادرة من العمارات المحددة مسبقًا في تشغيل تدريبي واحد فقط. رغم أننا نستخدم دائمًا نسبة صغيرة فقط من الأوزان أثناء مرور الأمام، إلا أننا ما زلنا نلعب ما يُعرف بـ "قرعة التهيئة" مع عدد متعدد من شبكات الفروع. يمكن الحصول على الكود والنموذج المعتمد مسبقًا عبر الرابط https://github.com/allenai/dnw بينما يمكن العثور على تصورات إضافية عبر الرابط https://mitchellnw.github.io/blog/2019/dnw/.