適応モーメント推定 Adam

アダムの正式名は Adaptive Moment Estimation (適応モーメント推定) で、特に大規模なデータとパラメータの最適化問題の処理に適した一次勾配最適化のアルゴリズムです。 2014 年に Diederik P. Kingma と Jimmy Ba によって提案され、2015 年の ICLR 会議で関連論文が発表されました。Adam: 確率的最適化の手法”。

Adam アルゴリズムは、低次モーメントの適応推定に基づいた 1 次勾配ベースの確率的目的関数最適化アルゴリズムです。この方法は単純で実装が簡単で、計算効率が高く、メモリ要件が小さく、勾配の対角スケーリングが変更されないため、大量のデータやパラメータを伴う問題の処理に非常に適しています。この方法は、非定常の対物レンズや、非常にノイズの多い勾配やまばらな勾配を伴う問題にも適しています。ハイパーパラメータには直感的な説明があり、通常はあまり調整する必要はありません。