グローバル共分散プーリングネットワークの高速訓練を実現するための反復行列平方根正規化

畳み込みニューラルネットワークにおけるグローバル共分散プーリングは、古典的な一階プーリングを上回る印象的な改善を達成しています。最近の研究では、行列平方根正規化が最先端の性能を達成する上で中心的な役割を果たしていることが示されています。しかし、既存の方法は固有値分解（EIG）や特異値分解（SVD）に大きく依存しており、GPUでのEIGやSVDのサポートが限られているため、訓練効率が低下しています。この問題に対処するために、私たちは高速なエンドツーエンド訓練のために設計された反復的な行列平方根正規化方法を提案します。私たちの方法の核心は、ループ埋め込み有向グラフ構造で設計されたメタ層です。このメタ層は、前処理正規化、結合行列反復、後処理補償を行う3つの連続した非線形構造層から構成されています。私たちの方法は、行列乗算のみを含むため、GPUでの並列実装に適しており、EIGやSVDに基づく方法よりもずっと速いです。さらに、ResNetアーキテクチャを使用した提案ネットワークは、より少ないエポック数で収束し、ネットワーク訓練をさらに加速します。大規模なImageNetにおいても競争力のある性能を達成し、既存の手法を超える結果を得ています。ImageNetで事前学習したモデルを微調整することで、3つの挑戦的な細かい分類ベンチマークで最先端の結果を樹立しました。ソースコードとネットワークモデルは http://www.peihuali.org/iSQRT-COV で公開されます。