HyperAIHyperAI

Command Palette

Search for a command to run...

ニューラルアーキテクチャのトポロジーが勾配伝播およびモデル性能に与える影響は何か?

Radu Marculescu Guihong Li2 Kartikeya Bhardwa

概要

DenseNets は、複数のコンピュータビジョンタスクにおいて最先端の精度を達成する、連結型スキップ接続(concatenation-type skip connections)を導入している。本論文では、この連結型スキップ接続のトポロジーが勾配伝播(gradient propagation)と密接に関連しており、その結果として深層ニューラルネットワーク(DNN)のテスト性能が予測可能になることを明らかにする。これを実現するため、DNN内における情報の流れの効率を定量的に評価する新たな指標「NN-Mass」を提案する。さらに、実験的にNN-Massが加算型スキップ接続(すなわち、残差または逆残差)を含む他のネットワークアーキテクチャ、すなわちResNets、Wide-ResNets(WRNs)、MobileNetsに対しても有効であることを示す。したがって、DenseNet系のCNNとResNets/WRNs/MobileNetsの両方において、NN-Massは、サイズや計算量が著しく異なるモデルであっても、類似の精度を持つモデルを識別可能である。MNIST、CIFAR-10、CIFAR-100、ImageNetなど、合成データおよび実データを用いた詳細な実験により、本研究の知見に対する広範な実証的根拠が得られた。最後に、NN-Massの閉形式式(closed-form equation)を用いることで、時間のかかるトレーニングや探索を一切行わずに、初期化段階から著しく圧縮されたDenseNets(CIFAR-10用)およびMobileNets(ImageNet用)を直接設計することが可能となる。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています