تدريب الشبكات العميقة دون معدلات التعلم من خلال الرهان على العملات

تُحقِّق طُرُق التعلم العميق أداءً يُعَدُّ الأفضل في العديد من السيناريوهات التطبيقية. ومع ذلك، تتطلب هذه الطرق ضبطًا كبيرًا للمعايير الفائقة (hyperparameters) لتحقيق أفضل النتائج. بصفة خاصة، ضبط معدلات التعلم في عملية الأمثلية العشوائية لا يزال أحد الرقبات الرئيسية (bottlenecks). في هذا البحث، نقترح إجراءً جديدًا للهبوط التدرج العشوائي (stochastic gradient descent) لشبكات عميقة لا يتطلب ضبط أي معدل تعلم. على عكس الطرق السابقة، لا نقوم بتكييف معدلات التعلم ولا نعتمد على الانحناء المفترض للدالة الهدف. بدلاً من ذلك، نقلل عملية الأمثلية إلى لعبة رهان على قطعة نقدية ونقترح خوارزمية مثلى خالية من معدل التعلم لهذا السيناريو. تم إثبات التقارب النظري للدوال المحدبة والشبه محدبة، وتشير الأدلة التجريبية إلى فوائد خوارزميتنا على الخوارزميات الشائعة للهبوط التدرجي العشوائي.