HyperAIHyperAI

Command Palette

Search for a command to run...

効率的なConvNetsのためのフィルター剪定

Hao Li; Asim Kadav; Igor Durdanovic; Hanan Samet; Hans Peter Graf

概要

CNN(畳み込みニューラルネットワーク)の様々な応用における成功は、計算コストとパラメータ保存コストの大幅な増加を伴っています。これらのオーバーヘッドを削減する最近の取り組みには、各層の重みを剪定および圧縮することにより、元の精度を損なうことなくコストを削減することが含まれています。しかし、重みの大きさに基づく剪定は全結合層から多くのパラメータを削減しますが、剪定後のネットワークに不規則な疎性が生じるため、畳み込み層での計算コストの削減が十分でない場合があります。本稿では、出力精度に小さな影響しか与えないフィルタをCNNから識別し、そのフィルタを剪定する加速方法を提案します。ネットワーク内の全体的なフィルタとそれらに関連する特徴マップを取り除くことで、計算コストが大幅に削減されます。重みの剪定とは異なり、このアプローチは疎な接続パターンを生成しないため、疎な畳み込みライブラリのサポートが必要ではなく、既存の効率的なBLASライブラリを使用して稠密行列乗算を行うことができます。我々は実験を通じて示しましたが、単純なフィルタ剪定技術でもCIFAR10データセット上でVGG-16の推論コストを最大34%、ResNet-110の推論コストを最大38%削減できることを確認しています。さらに、ネットワークの再学習によって元の精度に近い性能を取り戻すことが可能です。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています