HyperAIHyperAI

Command Palette

Search for a command to run...

0/1 الشبكات العصبية العميقة عبر الانحدار الإحداثي البلوكي

Zhang Hui ; Zhou Shenglong ; Li Geoffrey Ye ; Xiu Naihua

الملخص

الدالة الخطوة هي واحدة من أبسط وأكثر الوظائف الطبيعية تفعيلاً للشبكات العصبية العميقة (DNNs). حيث تقوم بحساب القيمة 1 للمتغيرات الموجبة و0 لباقي المتغيرات، فإن خصائصها الذاتية (مثل عدم الاستمرارية وعدم وجود معلومات قابلة للتطبيق عن الدوال الجزئية) قد حالت دون تطورها لعدة عقود. رغم وجود جسم كبير ومثير للإعجاب من الأعمال التي تتعلق بتصميم شبكات DNN باستخدام وظائف التفعيل المستمرة التي يمكن اعتبارها بدائل للدالة الخطوة، إلا أنها لا تزال تحتفظ ببعض الخصائص المتميزة مثل الحماية الكاملة من القيم الشاذة والقدرة على تحقيق أفضل ضمان نظري للدقة التنبؤية. لذلك، في هذا البحث، نهدف إلى تدريب شبكات DNN باستخدام الدالة الخطوة كوظيفة تفعيل (وهي المعروفة باسم شبكات 0/1 DNN). أولاً، نعيد صياغة شبكات 0/1 DNN كمشكلة تحسين غير مقيدة ثم نحلها باستخدام طريقة الانحدار الإحداثي البلوكي (BCD). بالإضافة إلى ذلك، نحصل على حلول مغلقة لمسائل BCD الفرعية وكذلك خصائص التقارب لها. علاوة على ذلك، قمنا أيضًا بدمج التسويف 2,0\ell_{2,0}2,0 في شبكة 0/1 DNN لتسريع عملية التدريب وتقليل حجم الشبكة. نتيجة لذلك، حققت الخوارزمية المقترحة أداءً عاليًا في تصنيف مجموعات البيانات MNIST وFashion-MNIST. كما حققت الخوارزمية المقترحة أداءً مرغوبًا في تصنيف مجموعات البيانات MNIST، Fashion-MNIST، Cifar10 وCifar100.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp