17日前

デカップルド・ダイナミックフィルタネットワーク

Jingkai Zhou, Varun Jampani, Zhixiong Pi, Qiong Liu, Ming-Hsuan Yang
デカップルド・ダイナミックフィルタネットワーク
要約

畳み込みはCNNアーキテクチャの基本的な構成要素の一つである。その広範な利用にもかかわらず、標準畳み込みには二つの主要な課題がある:コンテンツに依存しない(content-agnostic)性と計算負荷の高さである。動的フィルタ(dynamic filters)はコンテンツに応じた適応性を持つが、さらに計算コストを増大させる。一方、深度方向畳み込み(depth-wise convolution)は軽量な変種ではあるが、通常はCNNの性能低下を招くか、より多くのチャネル数を必要とする。本研究では、これらの二つの課題を同時に解決可能な「分離型動的フィルタ(Decoupled Dynamic Filter: DDF)」を提案する。最近の注目メカニズム(attention)の進展に着想を得て、DDFは深度方向の動的フィルタを空間的動的フィルタとチャネル的動的フィルタに分離する。この分解によりパラメータ数を大幅に削減し、計算コストを深度方向畳み込みと同等の水準に抑えることができる。同時に、分類ネットワークにおいて標準畳み込みをDDFに置き換えることで、性能の顕著な向上が観察された。ResNet50およびResNet101ではトップ1精度がそれぞれ1.9%および1.3%向上し、計算コストはほぼ半減した。検出(detection)および同時アップサンプリング(joint upsampling)ネットワークにおける実験でも、DDFのアップサンプリング版(DDF-Up)が標準畳み込みおよび専用のコンテンツ適応型層と比較して優れた性能を示した。

デカップルド・ダイナミックフィルタネットワーク | 最新論文 | HyperAI超神経