17日前

ユニット空間内における摂動勾配更新を用いた深層学習

Ching-Hsun. Tseng, Liu-Hsueh. Cheng, Shin-Jye. Lee, Xiaojun Zeng
ユニット空間内における摂動勾配更新を用いた深層学習
要約

深層学習において最適化は極めて重要な役割を果たす。本研究では、画像分類を対象として、広く用いられている最適化手法の利点と課題を検討し、新たな最適化アルゴリズム「Perturbated Unit Gradient Descent(PUGD)」を提案する。PUGDは、摂動(perturbation)内でのテンソル空間における正規化勾配操作を拡張し、単位空間(unit space)での更新を実現する。一連の実験および分析を通じて、PUGDが局所的に有界な更新を行うことを示す。すなわち、更新が時間とともに適切に制御されることを確認した。さらに、PUGDはモデルを平坦な最小値(flat minimum)へと導くことができ、その際、誤差がほぼ一定に保たれる。これは、勾配正規化による停留点(stationary points)回避の性質に加え、単位球内での鋭さ(sharpness)のスキャンにより実現される。厳密な実験結果から、PUGDはTiny ImageNetにおいて最先端のTop-1精度を達成し、CIFAR-10およびCIFAR-100においても競争力ある性能を示した。本研究のコードはGitHubにてオープンソースとして公開されている:https://github.com/hanktseng131415go/PUGD。

ユニット空間内における摂動勾配更新を用いた深層学習 | 最新論文 | HyperAI超神経