要約
ルーティングモデルは、大きなネットワーク内の一部のコンポーネントを通じて例を条件付きで処理する、条件付き計算の一形態として近年の研究で有望な成果を上げている。しかし、驚くべきことに、これまでのルーティングモデルにはアーキテクチャの多様性や多数のルーティング判断といった重要な特性が欠けていた。アーキテクチャの多様性とルーティングの深さの両方が、ルーティングネットワークの表現力の向上に寄与する。本研究では、これらの欠点を補う取り組みを行う。まず、ルーティングモデルにおけるアーキテクチャの多様性の重要性を論じ、ルーティングの深さを増加させた際の容量と最適化のトレードオフを説明する。実験の結果、ルーティングモデルにアーキテクチャの多様性を導入することで、性能が著しく向上することが確認された。特にOmniglot設定において、強力なベースラインの誤差率を35％も削減した。一方で、ルーティングの深さを拡大する際には、現代のルーティング技術が最適化の面で困難に直面することが明らかになった。最後に、得られた肯定的および否定的な結果について考察し、今後の研究の方向性を提案する。