要約
適応型最適化手法の簡略化された分析から、我々はAvaGradという新しい最適化手法を導出し、適切に調整された際の適応性により、視覚タスクにおいてSGDを上回ることを示した。本手法の有効性の一部は、学習率と適応性の間の分離（デカップリング）に起因していることが観察された。この発見を踏まえ、従来の常識とは対照的に、Adamもまた、その学習率と適応性の結合関係を適切に考慮すれば、視覚タスクにおいてSGDを上回ることが示された。実際の応用において、AvaGradは、画像分類（CIFAR、ImageNet）および文字レベルの言語モデリング（Penn Treebank）というタスクにおいて、既存のあらゆる最適化手法（SGDまたは適応型）が達成可能な最良の汎化精度を達成した。