HyperAIHyperAI

Command Palette

Search for a command to run...

التدريب النادر من خلال تعزيز مرونة التقطيع باستخدام إعادة تأهيل الأعصاب

Shiwei Liu Tianlong Chen Xiaohan Chen Zahra Atashgahi Lu Yin Huanyu Kou Li Shen Mykola Pechenizkiy Zhangyang Wang Decebal Constantin Mocanu

الملخص

أثارت الأبحاث المتعلقة بفرضية تذكرة اليانصيب (LTH) وتقنيات القص الفوري للشبكة (SNIP) اهتمامًا كبيرًا حاليًا في مجالات القص بعد التدريب (القص التكراري حسب الحجم) والقص قبل التدريب (القص عند التهيئة الأولية). تواجه الطريقة الأولى تكلفة حسابية هائلة، بينما تعاني الطريقة الثانية غالبًا من أداء غير كافٍ. وعلى النقيض من ذلك، يظل القص أثناء التدريب – وهي فئة من طرق القص التي تجمع بين كفاءة التدريب والاستدلال وأداء مماثل – أقل استكشافًا حتى الآن. ولتحسين الفهم لآلية القص أثناء التدريب، قمنا بدراسة كمية لتأثير القص طوال عملية التدريب من منظور "مرونة القص" (أي قدرة الشبكات المقصوصة على استعادة الأداء الأصلي). وتكشف مرونة القص عن تفسير لعدة ملاحظات تجريبية أخرى حول قص الشبكات العصبية في الأدبيات. ووجدنا أيضًا أن مرونة القص يمكن تحسينها بشكل كبير من خلال دمج آلية مُلهمة من الدماغ تُسمى "إعادة التكوين العصبي" (neuroregeneration)، أي إعادة تكوين نفس عدد الاتصالات التي تم قصها. وقد طوّرنا طريقة جديدة للقص التدريجي حسب الحجم، تُسمى "القص التدريجي مع إعادة تكوين عصبي بدون تكلفة" (GraNet)، والتي تُعدّ من أحدث الإنجازات في هذا المجال. وبشكل ربما يُعدّ الأكثر إثارة، تمكّنت النسخة "من نادر إلى نادر" (sparse-to-sparse) من GraNet لأول مرة من تحسين أداء التدريب من نادر إلى نادر عبر عدة طرق من نادر إلى نادر (dence-to-sparse) باستخدام نموذج ResNet-50 على مجموعة بيانات ImageNet، دون الحاجة إلى تمديد وقت التدريب. ونُشر كل كود البرنامج على الرابط التالي: https://github.com/Shiweiliuiiiiiii/GraNet.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp