効率的なConvNetsのためのフィルター剪定

CNN（畳み込みニューラルネットワーク）の様々な応用における成功は、計算コストとパラメータ保存コストの大幅な増加を伴っています。これらのオーバーヘッドを削減する最近の取り組みには、各層の重みを剪定および圧縮することにより、元の精度を損なうことなくコストを削減することが含まれています。しかし、重みの大きさに基づく剪定は全結合層から多くのパラメータを削減しますが、剪定後のネットワークに不規則な疎性が生じるため、畳み込み層での計算コストの削減が十分でない場合があります。本稿では、出力精度に小さな影響しか与えないフィルタをCNNから識別し、そのフィルタを剪定する加速方法を提案します。ネットワーク内の全体的なフィルタとそれらに関連する特徴マップを取り除くことで、計算コストが大幅に削減されます。重みの剪定とは異なり、このアプローチは疎な接続パターンを生成しないため、疎な畳み込みライブラリのサポートが必要ではなく、既存の効率的なBLASライブラリを使用して稠密行列乗算を行うことができます。我々は実験を通じて示しましたが、単純なフィルタ剪定技術でもCIFAR10データセット上でVGG-16の推論コストを最大34%、ResNet-110の推論コストを最大38%削減できることを確認しています。さらに、ネットワークの再学習によって元の精度に近い性能を取り戻すことが可能です。