HyperAIHyperAI

Command Palette

Search for a command to run...

EagleEye:効率的なニューラルネットワークの剪定のための高速なサブネット評価

Bailin Li Bowen Wu Jiang Su Guangrun Wang Liang Lin

概要

訓練済みの深層ニューラルネットワーク(DNN)における計算上の冗長部分を特定することは、構造的剪定(pruning)アルゴリズムが直面する核心的な課題である。多くの既存のアルゴリズムは、剪定後のサブネットのモデル性能を予測するために、さまざまな評価手法を導入しているが、これらはいずれも精度に欠けたり、一般応用に適さないほど複雑である。本研究では、適応的バッチ正規化(adaptive batch normalization)に基づくシンプルかつ効率的な評価モジュールを採用した剪定手法「EagleEye」を提案する。このモジュールにより、異なる剪定済みDNN構造とその最終的な精度との間に強い相関関係が明らかになった。この強固な相関関係を活用することで、実際に微調整(fine-tuning)を行わずに、最も高い精度を示す可能性を持つ剪定候補を迅速に特定することが可能となる。また、このモジュールは既存の剪定アルゴリズムに容易に統合・拡張可能であり、その性能を向上させることが可能である。実験結果によれば、EagleEyeは比較対象としたすべての剪定アルゴリズムを上回る性能を達成した。具体的には、MobileNet V1およびResNet-50の剪定において、他の手法と比べて最大3.8%の精度向上を実現した。さらに、MobileNet V1のコンパクトモデルに対するより困難な剪定実験においても、全体の50%(FLOPs)の計算量を削減しつつ、最高のTop-1 ImageNet分類精度70.9%を達成した。本研究で提示されたすべての精度値はTop-1 ImageNet分類精度を指す。ソースコードおよび学習済みモデルは、オープンソースコミュニティ向けに公開されている:https://github.com/anonymous47823493/EagleEye


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
EagleEye:効率的なニューラルネットワークの剪定のための高速なサブネット評価 | 記事 | HyperAI超神経