1ヶ月前

Transformable Architecture Search を通じたネットワークのプルーニング

Xuanyi Dong; Yi Yang
Transformable Architecture Search を通じたネットワークのプルーニング
要約

ネットワークの剪定は、性能を損なうことなく過剰パラメータ化されたネットワークの計算コストを削減します。一般的な剪定アルゴリズムでは、剪定後のネットワークの幅と深さを事前に定義し、その後未剪定ネットワークからパラメータを転送します。この構造的な制約を打破するために、我々はニューラルアーキテクチャサーチ(Neural Architecture Search)を直接適用し、チャンネル数と層数が柔軟に変更可能なネットワークを探求することを提案します。チャンネル数や層数は、剪定ネットワークの損失最小化によって学習されます。剪定ネットワークの特徴マップは、K個の異なるサイズのネットワークによって生成されるK個の特徴マップ断片の集約であり、これらの断片は確率分布に基づいてサンプリングされます。損失はネットワーク重みだけでなく、パラメータ化された分布にも逆伝播され、チャンネル数や層数を明示的に調整することができます。具体的には、チャンネルごとの補間(channel-wise interpolation)を使用して、集約プロセスにおいて異なるチャンネル数を持つ特徴マップが揃うようにします。各分布における最大確率が剪定ネットワークの幅と深さとして機能し、そのパラメータは元のネットワークからの知識転送(例:知識蒸留)によって学習されます。CIFAR-10, CIFAR-100, および ImageNet 上での実験により、我々の新しい視点に基づくネットワーク剪定手法が従来の剪定アルゴリズムに比べて有効であることが示されました。また、様々な探索手法と知識転送手法が用いられることで、これら二つの成分の有効性が確認されています。コードは以下のURLで公開されています: https://github.com/D-X-Y/NAS-Projects.

Transformable Architecture Search を通じたネットワークのプルーニング | 最新論文 | HyperAI超神経