التقشف الفعّال للشبكات العصبية مع قيد التباعد العالمي

تُعد تقنية حذف الأوزان (Weight Pruning) تقنية فعّالة لتقليل حجم النموذج ووقت الاستدلال في الشبكات العصبية العميقة عند تطبيقها في البيئات الواقعية. ومع ذلك، نظرًا لاختلاف القيم المطلقة وأهمية الأوزان النسبية بين الطبقات المختلفة في الشبكة العصبية، تعتمد الطرق الحالية إما على ضبط يدوي أو قواعد تجريبية مُصممة مسبقًا لتحديد معدلات الحذف المناسبة لكل طبقة على حدة. ويؤدي هذا النهج عادةً إلى أداء غير مثالي. في هذا البحث، وباستخدام الفضاء الاحتمالي بشكل مباشر، نقترح طريقة فعّالة لتخفيف الشبكة تُسمى القناع الاحتمالي (Probabilistic Masking أو ProbMask)، والتي تحل صيغة طبيعية لتخفيف الشبكة ضمن قيد التخفيف العالمي. الفكرة الأساسية تكمن في استخدام الاحتمال كمعيار عالمي لجميع الطبقات لقياس أهمية الأوزان. ويتميز ProbMask بقدرته على تعلّم كميات التكرار الزائد في الأوزان تلقائيًا من خلال القيود المفروضة، مما يسمح لنا بتجنب مشكلة ضبط معدلات الحذف بشكل منفصل لكل طبقة في الشبكة. وتوحي النتائج التجريبية الواسعة على مجموعتي بيانات CIFAR-10/100 وImageNet بأن طريقة ProbMask فعّالة جدًا، ويمكنها تجاوز الطرق المتطورة السابقة بفارق كبير، خاصة في حالات معدلات الحذف العالية. وبشكل لافت، يمكن أن يصل الفرق في دقة الـTop-1 بين ProbMask والطرق الحالية إلى 10%. كمنتج ثانوي، نُظهر أن ProbMask فعّالة أيضًا في تحديد "القناع الفائق" (Supermasks)، وهي شبكات فرعية تمتلك أداءً عاليًا داخل شبكة عصبية كثيفة ذات أوزان عشوائية.