Efficient-CapsNet：自己注意機構ルーティングを備えたCapsule Network

ディープ畳み込みニューラルネットワークは、アーキテクチャ設計戦略を支援として用い、オブジェクト変換を埋め込むためにデータ拡張技術および特徴マップ数が非常に多い層を広く活用している。しかし、これは極めて非効率であり、大規模なデータセットにおいては特徴検出器の著しい冗長性を引き起こす。一方で、キャプセルネットワークはまだ初期段階にありながらも、現在の畳み込みネットワークを拡張する有望な解決策を提供しており、人工視覚認識に、特徴のアフィン変換をより効率的に符号化するプロセスを付与する可能性を秘めている。実際、適切に動作するキャプセルネットワークは、新しい視点への一般化能力に内在する特性により、パラメータ数を大幅に削減しつつも理論的に高い性能を達成できるはずである。しかしながら、この重要な側面に対する注目はほとんど寄せられていない。本論文では、キャプセルネットワークの効率性について検討し、わずか16万パラメータにまで極限まで圧縮した極端なアーキテクチャを用いて、元のCapsNetのパラメータ数の2％程度で、3つの異なるデータセットにおいて最先端の結果を達成できることを実証する。さらに、動的ルーティングを、非反復的かつ高並列性が実現可能な新しいルーティングアルゴリズムに置き換えることで、キャプセル数の削減に対しても容易に対応可能であることを示す。他のキャプセルネットワーク実装を用いた広範な実験により、本手法の有効性およびキャプセルネットワークが一般化に優れた視覚表現を効率的に埋め込む能力が確認された。