Command Palette
Search for a command to run...
AsymmNet:非対称なボトルネックを用いた超軽量な畳み込みニューラルネットワークの実現へ
AsymmNet:非対称なボトルネックを用いた超軽量な畳み込みニューラルネットワークの実現へ
Haojin Yang Zhen Shen Yucheng Zhao
概要
深層畳み込みニューラルネットワーク(CNN)は、多様な応用分野において驚異的な成果を上げている。しかし、モバイルや組み込みデバイス上でのこれらのモデルの利用は、メモリ容量や計算リソースの制限により困難である。近年、逆残差ブロック(inverted residual block)がコンパクトなCNNアーキテクチャ設計における主流となるソリューションとなっている。本研究では、既存の設計概念を包括的に検討し、逆残差構造における2つのポイントワイズ畳み込みの機能的特性を再考した。その結果、新たな設計手法「非対称ボトルネック(asymmetrical bottlenecks)」を提案する。具体的には、最初のポイントワイズ畳み込みの次元を調整し、特徴量の再利用によって情報フローを豊かにし、節約された計算量を2番目のポイントワイズ畳み込みへ移行する。このアプローチにより、計算量の増加を伴わずに精度をさらに向上させることができる。非対称ボトルネックは、既存のCNNブロックに対する即時置換(drop-in replacement)として利用可能であり、適切な深さと幅の条件に基づいてこれらのブロックを簡単に積み重ねることで、AsymmNetを構築できる。広範な実験により、本研究で提案するブロック設計が、特に220M MAdds未満の超軽量CNNにおいて、従来の逆残差ボトルネックよりも顕著な利点を有することが示された。コードは以下のGitHubリポジトリで公開されている:https://github.com/Spark001/AsymmNet