WSNet: تعلّم شبكات مدمجة وفعّالة باستخدام عينة الوزن

نقدم نهجًا جديدًا وبنية معمارية مبتكرة تُسمى WSNet، لتعلم شبكات عصبية عميقة مكثفة وفعّالة. تتعلم الطرق الحالية التقليدية معاملات النموذج الكاملة بشكل مستقل، ثم تُقلّصها لاحقًا من خلال عمليات مخصصة مثل إزالة الطبقات أو تحليل العوامل للمرشحات. بديلًا عن ذلك، تقترح WSNet تعلّم معاملات النموذج من خلال أخذ عينات من مجموعة مكثفة من المعاملات القابلة للتعلم، مما يفرض بشكل طبيعي مشاركة المعاملات (parameter sharing) طوال عملية التعلّم. نُظهر أن هذا النهج الجديد لاستخلاص المعاملات (وما يُنتج من WSNet) يعزز بشكل مواتٍ كلًا من مشاركة المعاملات والحساب. وباستخدام هذا الأسلوب، يمكننا تعلّم شبكات أصغر بكثير بفعالية أكبر، مع أداء تنافسي مقارنةً بالشبكات الأساسية التي تحتوي على نفس عدد مرشحات التConvolution. وبشكل خاص، ندرس تعلّم شبكات عصبية متعددة الطبقات ذات بعد واحد (1D CNN) مكثفة وفعّالة لتصنيف الصوت. وتشير التجارب الواسعة على عدة مجموعات بيانات تصنيف الصوت إلى فعالية WSNet. وبدمجها مع تقطيع المعاملات (weight quantization)، تصبح النماذج الناتجة أصغر بـ 180 مرة على الأقل، وأسرع نظريًا بـ 16 مرة على الأقل مقارنةً بالأساليب المعيارية المثبتة، دون حدوث انخفاض ملحوظ في الأداء.