要約
多世界解釈（Many-Worlds Interpretation, MWI）をヒントに、本研究では、各層において同一の入力信号を並列な分岐枝に分割する新しいニューラルネットワークアーキテクチャを提案する。このアーキテクチャでは、ハイパーレクトファイド活性化関数（Hyper Rectified Activation）を用い、これをANDHRAと呼ぶ。分岐された層は再び結合せず、それぞれ独立したネットワークパスを形成し、出力予測に向けた複数のネットワークヘッドを構成する。分岐係数が2で3段階の階層を持つネットワークの場合、合計のヘッド数は2³ = 8個となる。個々のヘッドは、それぞれの損失値を組み合わせて共同で学習される。ただし、追加の分岐枝のため、提案アーキテクチャは学習過程において追加のパラメータとメモリを必要とする。一方、推論時にはCIFAR-10/100における実験結果から、ベースライン精度を上回る個々のヘッドが存在することが確認され、パラメータ数および計算コストが同一である条件下で、統計的に有意な性能向上が達成された。