دمج ADAM و SGD: طريقة تحسين مدمجة

تحظى طرق التحسين (المُحسِّنات) باهتمام خاص في مجال التعلم العميق، خصوصًا لتدريب الشبكات العصبية بكفاءة. في الأدبيات العلمية، توجد العديد من الدراسات التي تقارن بين نماذج الشبكات العصبية التي تم تدريبها باستخدام مُحسِّنات مختلفة. تُظهر كل دراسة أن مُحسِّنًا معينًا يكون أفضل من غيره في مشكلة معينة، ولكن عندما تتغير المشكلة، تصبح هذه النتائج غير صالحة، ويجب علينا البدء من جديد. في هذا البحث، نقترح استخدام مزيج من مُحسِّنين مختلفين جدًا، ولكن عند استخدامهما معًا في آنٍ واحد، يمكنهما التغلب على أداء المُحسِّنات الفردية في مشكلات متنوعة جدًا. نحن نُقدّم مُحسِّنًا جديدًا يُسمى MAS (مزيج ADAM وSGD)، والذي يُدمج SGD وADAM في الوقت نفسه، من خلال تخصيص أوزان ثابتة لتعكس مساهمة كل منهما. بدلًا من محاولة تحسين SGD أو ADAM بشكل منفصل، نستفيد من كليهما في آنٍ واحد، مع الاستفادة من أفضل ما في كل منهما. أجرينا عدة تجارب على تصنيف الصور ومستندات النصوص باستخدام أنواع مختلفة من الشبكات العصبية التلافيفية (CNN)، وأثبتنا من خلال التجارب أن مُحسِّن MAS المقترح يحقق أداءً أفضل من كل من مُحسِّنات SGD أو ADAM الفردية. يمكن الوصول إلى الشفرة المصدرية وجميع نتائج التجارب عبر الرابط التالي: https://gitlab.com/nicolalandro/multi_optimizer