استراتيجية تحديث متعددة أسرع لتعلم عميق مقاوم للضوضاء

أُظهر أن الشبكات العصبية العميقة عرضة للاختلال في التدريب على بيانات متحيزة. ولمعالجة هذه المشكلة، تستخدم التعلم المتعدد (meta-learning) نموذجًا متعددًا (meta model) لتصحيح انحياز التدريب. وعلى الرغم من الأداء الواعد، فإن التدريب البطيء جدًا يظل الحد الأقصى الحالي في أساليب التعلم المتعدد. في هذه الورقة، نقدّم استراتيجية جديدة لتحسين التحديث السريع في التعلم المتعدد (Faster Meta Update Strategy - FaMUS)، والتي تُستبدل بها الخطوة الأكثر تكلفة في حساب التدرج المتعدد بمسار تقريبي أسرع يُطبّق على كل طبقة على حدة. ووجدنا تجريبيًا أن FaMUS تُنتج تقريبًا دقيقًا بشكل معقول، وبنفس الوقت يمتلك تباينًا منخفضًا في التدرج المتعدد. أجرينا تجارب واسعة لتأكيد الأداء المُقترح على مهامتين. ونُظهر أن طريقة التحديث لدينا تُمكن من تقليل زمن التدريب بنسبة ثلثين، مع الحفاظ على أداء تعميم مماثل أو حتى تحسينه. وبشكل خاص، حققت طريقة التحديث لدينا أفضل أداء ممكن (state-of-the-art) في كلا الحالتين: العلامات المُضافة بضوضاء اصطناعية والعلامات المُضافة بضوضاء واقعية، كما أظهرت أداءً واعدًا في التعرف على التوزيعات الطويلة الذيل (long-tailed recognition) على المعايير القياسية.