HyperAIHyperAI

Command Palette

Search for a command to run...

ADAMとSGDの融合:統合最適化手法

Nicola Landro Ignazio Gallo Riccardo La Grassa

概要

深層学習分野において、ニューラルネットワークの効率的な学習には最適化手法(オプティマイザー)が特に注目されている。文献には、異なるオプティマイザーを用いて学習されたニューラルモデルを比較する論文が多数存在する。各論文は、特定の問題に対してあるオプティマイザーが他よりも優れていることを示しているが、問題が変化するとこの結果は通用しなくなり、再びゼロから検証を始める必要が生じる。本論文では、非常に異なる性質を持つ2つのオプティマイザーを組み合わせる手法を提案する。これらのオプティマイザーを同時に使用することで、さまざまな問題において単一のオプティマイザーの性能を上回る効果が得られる。我々は、SGDとADAMの両方の利点を同時に活用する新しいオプティマイザー「MAS(Mixing ADAM and SGD)」を提案する。MASは、SGDとADAMの寄与を定数重みによって調整することで、両者を同時に統合する。SGDやADAMの改良に焦点を当てるのではなく、両者を併用し、それぞれの長所を最大限に引き出すアプローチを採用している。画像分類およびテキストドキュメント分類のタスクにおいて、さまざまなCNNアーキテクチャを用いて複数の実験を実施した結果、提案するMASオプティマイザーが単独のSGDまたはADAMよりも優れた性能を発揮することが実験的に確認された。本研究のソースコードおよびすべての実験結果は、以下のリンクからオンラインで公開されている:https://gitlab.com/nicolalandro/multi_optimizer


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています