HyperAIHyperAI

Command Palette

Search for a command to run...

التقشف الفعّال للشبكات العصبية مع قيد التباعد العالمي

Xiao Zhou Weizhong Zhang Hang Xu Tong Zhang

الملخص

تُعد تقنية حذف الأوزان (Weight Pruning) تقنية فعّالة لتقليل حجم النموذج ووقت الاستدلال في الشبكات العصبية العميقة عند تطبيقها في البيئات الواقعية. ومع ذلك، نظرًا لاختلاف القيم المطلقة وأهمية الأوزان النسبية بين الطبقات المختلفة في الشبكة العصبية، تعتمد الطرق الحالية إما على ضبط يدوي أو قواعد تجريبية مُصممة مسبقًا لتحديد معدلات الحذف المناسبة لكل طبقة على حدة. ويؤدي هذا النهج عادةً إلى أداء غير مثالي. في هذا البحث، وباستخدام الفضاء الاحتمالي بشكل مباشر، نقترح طريقة فعّالة لتخفيف الشبكة تُسمى القناع الاحتمالي (Probabilistic Masking أو ProbMask)، والتي تحل صيغة طبيعية لتخفيف الشبكة ضمن قيد التخفيف العالمي. الفكرة الأساسية تكمن في استخدام الاحتمال كمعيار عالمي لجميع الطبقات لقياس أهمية الأوزان. ويتميز ProbMask بقدرته على تعلّم كميات التكرار الزائد في الأوزان تلقائيًا من خلال القيود المفروضة، مما يسمح لنا بتجنب مشكلة ضبط معدلات الحذف بشكل منفصل لكل طبقة في الشبكة. وتوحي النتائج التجريبية الواسعة على مجموعتي بيانات CIFAR-10/100 وImageNet بأن طريقة ProbMask فعّالة جدًا، ويمكنها تجاوز الطرق المتطورة السابقة بفارق كبير، خاصة في حالات معدلات الحذف العالية. وبشكل لافت، يمكن أن يصل الفرق في دقة الـTop-1 بين ProbMask والطرق الحالية إلى 10%. كمنتج ثانوي، نُظهر أن ProbMask فعّالة أيضًا في تحديد "القناع الفائق" (Supermasks)، وهي شبكات فرعية تمتلك أداءً عاليًا داخل شبكة عصبية كثيفة ذات أوزان عشوائية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp