17日前

マトリクスカプセルとEMルーティング

{Geoffrey E. Hinton, Sara Sabour, Nicholas Frosst}
マトリクスカプセルとEMルーティング
要約

カプセルとは、同一の実体の異なる特性を表す出力をもつニューロンのグループである。カプセルネットワークの各層には多数のカプセルが含まれる。本稿では、各カプセルが、実体の存在を表すロジスティックユニットと、その実体と観測者(視点)との関係を学習可能に表現する4×4行列を備えたカプセルのバージョンを提示する。1層目のカプセルは、学習可能な視点不変変換行列を用いて自身のポーズ行列を乗算し、上位層の多数のカプセルに対するポーズ行列の投票を行う。これらの投票は、割当係数によって重み付けされる。これらの係数は、期待値最大化(EM)アルゴリズムを用いて各画像ごとに反復的に更新され、各カプセルの出力が、類似した投票のクラスタを受け取る上位層のカプセルにルーティングされるようになる。変換行列は、隣接するカプセル層間のEMの展開された反復処理を通じて逆伝播により、判別的に学習される。smallNORBベンチマークにおいて、カプセルは最先端の畳み込みニューラルネットワークと比較して、テスト誤り数を45%削減した。また、カプセルは、ベースラインの畳み込みニューラルネットワークと比較して、白箱攻撃に対してはるかに高い耐性を示した。

マトリクスカプセルとEMルーティング | 最新論文 | HyperAI超神経