要約
最近のキャプセルネットワークに関する研究を基盤として、本研究では「合意によるルーティング」の新たな汎用的な形式を提案する。この手法は、前の層の入力キャプセルを無視する際のネットコストと、利用する際のネット利益を考慮し、層内の出力キャプセルを活性化する。本ルーティングアルゴリズムの有効性を示すために、視覚と自然言語の異なる領域に適用した2つのキャプセルネットワークを提示する。1つ目のネットワークは、従来のキャプセルモデルと比較してパラメータ数を削減し、学習量を1桁程度低減しつつ、smallNORB視覚認識タスクにおいて99.1%という新たな最良精度を達成した。さらに、このモデルが「逆グラフィックス（reverse graphics）」に類する処理を学習している可能性を示す証拠も得られた。2つ目のネットワークは、Stanford Sentiment Treebankの根節（root sentences）に対する分類において、単一タスクモデルで細粒度ラベルで58.5%、二値ラベルで95.6%という新たな最良精度を達成した。このモデルでは、事前学習済みTransformerから得た固定埋め込み（frozen embeddings）をキャプセルとして扱い、同じルーティング戦略を適用している。両方の領域において、同一の学習戦略で訓練を行った。コードは、https://github.com/glassroom/heinsen_routing にて公開されており、再現手順も併記されている。