実用的なネットワーク圧縮のためのグループFisher pruning

ネットワーク圧縮は、推論時のメモリ使用量および計算コストを削減できるため、長年にわたり広く研究されてきた。しかし、従来の手法は、残差接続（residual connections）、グループ畳み込み（group convolution）や深度方向畳み込み（depth-wise convolution）、特徴マップピラミッドネットワーク（feature pyramid network）など、複雑な構造に対してはほとんど対応しておらず、複数層にまたがるチャネル同士が相互に結合されており、同時に削減（プルーニング）する必要がある状況を適切に扱えていなかった。本論文では、さまざまな複雑な構造に適用可能な汎用的なチャネルプルーニング手法を提案する。特に、結合されたチャネルを自動的に検出するためのレイヤー群化アルゴリズムを設計した。さらに、フィッシャー情報量（Fisher information）に基づく統一的な指標を導出し、単一チャネルおよび結合チャネルの重要度を評価する。また、GPU上で推論速度の向上はFLOPsの削減よりもメモリ使用量の削減に強く相関していることを見出し、チャネルごとの重要度評価において、メモリ削減量を正規化因子として用いることで、効果的な評価を実現した。本手法は、チャネルが結合している構造を含むあらゆるネットワーク構造に適用可能である。実験では、代表的なバックボーンとして古典的なResNetやResNeXt、モバイル向けのMobileNetV2、およびNASに基づくRegNetを対象とし、画像分類および物体検出（これまであまり研究が進んでいなかったタスク）の両方で広範な検証を行った。実験結果から、本手法が高度に複雑なネットワークを効果的に圧縮でき、精度を損なうことなく推論速度を大幅に向上させることを確認した。