الهيمنة المستقلة عن المجال للطرق التكيفية

من تحليل مبسط للطرق التكيفية، نستنتج AvaGrad، مُحسِّن جديد يتفوق على SGD في المهام المرئية عندما يتم ضبط تكيفه بشكل مناسب. نلاحظ أن قوة طريقةنا تُفسَّر جزئيًا من خلال فصل معدل التعلّم عن التكيف، مما يُبسط بشكل كبير عملية البحث عن المعلمات الفائقة. وباستناد إلى هذه الملاحظة، نُظهِر أن، على عكس المفهوم السائد، يمكن لـ Adam أيضًا أن يتفوق على SGD في المهام المرئية، شريطة أخذ الارتباط بين معدل التعلّم ومستوى التكيف بعين الاعتبار. في الممارسة العملية، تُسجِّل AvaGrad أفضل النتائج من حيث دقة التعميم، مقارنة بأي مُحسِّن موجود حاليًا (سواء كان SGD أو مُحسِّنًا تكيفيًا) في مهام تصنيف الصور (CIFAR، ImageNet) ونمذجة اللغة على مستوى الحروف (Penn Treebank).