0/1 الشبكات العصبية العميقة عبر الانحدار الإحداثي البلوكي

الدالة الخطوة هي واحدة من أبسط وأكثر الوظائف الطبيعية تفعيلاً للشبكات العصبية العميقة (DNNs). حيث تقوم بحساب القيمة 1 للمتغيرات الموجبة و0 لباقي المتغيرات، فإن خصائصها الذاتية (مثل عدم الاستمرارية وعدم وجود معلومات قابلة للتطبيق عن الدوال الجزئية) قد حالت دون تطورها لعدة عقود. رغم وجود جسم كبير ومثير للإعجاب من الأعمال التي تتعلق بتصميم شبكات DNN باستخدام وظائف التفعيل المستمرة التي يمكن اعتبارها بدائل للدالة الخطوة، إلا أنها لا تزال تحتفظ ببعض الخصائص المتميزة مثل الحماية الكاملة من القيم الشاذة والقدرة على تحقيق أفضل ضمان نظري للدقة التنبؤية. لذلك، في هذا البحث، نهدف إلى تدريب شبكات DNN باستخدام الدالة الخطوة كوظيفة تفعيل (وهي المعروفة باسم شبكات 0/1 DNN). أولاً، نعيد صياغة شبكات 0/1 DNN كمشكلة تحسين غير مقيدة ثم نحلها باستخدام طريقة الانحدار الإحداثي البلوكي (BCD). بالإضافة إلى ذلك، نحصل على حلول مغلقة لمسائل BCD الفرعية وكذلك خصائص التقارب لها. علاوة على ذلك، قمنا أيضًا بدمج التسويف $\ell_{2,0}$ في شبكة 0/1 DNN لتسريع عملية التدريب وتقليل حجم الشبكة. نتيجة لذلك، حققت الخوارزمية المقترحة أداءً عاليًا في تصنيف مجموعات البيانات MNIST وFashion-MNIST. كما حققت الخوارزمية المقترحة أداءً مرغوبًا في تصنيف مجموعات البيانات MNIST، Fashion-MNIST، Cifar10 وCifar100.