EagleEye：効率的なニューラルネットワークの剪定のための高速なサブネット評価

訓練済みの深層ニューラルネットワーク（DNN）における計算上の冗長部分を特定することは、構造的剪定（pruning）アルゴリズムが直面する核心的な課題である。多くの既存のアルゴリズムは、剪定後のサブネットのモデル性能を予測するために、さまざまな評価手法を導入しているが、これらはいずれも精度に欠けたり、一般応用に適さないほど複雑である。本研究では、適応的バッチ正規化（adaptive batch normalization）に基づくシンプルかつ効率的な評価モジュールを採用した剪定手法「EagleEye」を提案する。このモジュールにより、異なる剪定済みDNN構造とその最終的な精度との間に強い相関関係が明らかになった。この強固な相関関係を活用することで、実際に微調整（fine-tuning）を行わずに、最も高い精度を示す可能性を持つ剪定候補を迅速に特定することが可能となる。また、このモジュールは既存の剪定アルゴリズムに容易に統合・拡張可能であり、その性能を向上させることが可能である。実験結果によれば、EagleEyeは比較対象としたすべての剪定アルゴリズムを上回る性能を達成した。具体的には、MobileNet V1およびResNet-50の剪定において、他の手法と比べて最大3.8%の精度向上を実現した。さらに、MobileNet V1のコンパクトモデルに対するより困難な剪定実験においても、全体の50%（FLOPs）の計算量を削減しつつ、最高のTop-1 ImageNet分類精度70.9%を達成した。本研究で提示されたすべての精度値はTop-1 ImageNet分類精度を指す。ソースコードおよび学習済みモデルは、オープンソースコミュニティ向けに公開されている：https://github.com/anonymous47823493/EagleEye。