要約
深層学習分野において、ニューラルネットワークの効率的な学習には最適化手法（オプティマイザー）が特に注目されている。文献には、異なるオプティマイザーを用いて学習されたニューラルモデルを比較する論文が多数存在する。各論文は、特定の問題に対してあるオプティマイザーが他よりも優れていることを示しているが、問題が変化するとこの結果は通用しなくなり、再びゼロから検証を始める必要が生じる。本論文では、非常に異なる性質を持つ2つのオプティマイザーを組み合わせる手法を提案する。これらのオプティマイザーを同時に使用することで、さまざまな問題において単一のオプティマイザーの性能を上回る効果が得られる。我々は、SGDとADAMの両方の利点を同時に活用する新しいオプティマイザー「MAS（Mixing ADAM and SGD）」を提案する。MASは、SGDとADAMの寄与を定数重みによって調整することで、両者を同時に統合する。SGDやADAMの改良に焦点を当てるのではなく、両者を併用し、それぞれの長所を最大限に引き出すアプローチを採用している。画像分類およびテキストドキュメント分類のタスクにおいて、さまざまなCNNアーキテクチャを用いて複数の実験を実施した結果、提案するMASオプティマイザーが単独のSGDまたはADAMよりも優れた性能を発揮することが実験的に確認された。本研究のソースコードおよびすべての実験結果は、以下のリンクからオンラインで公開されている：https://gitlab.com/nicolalandro/multi_optimizer