要約
勾配逆伝播（BP）は、対称的な前向きと後ろ向きの接続を必要とします。すなわち、前向きパスと後ろ向きパスの両方で同じ重みを使用する必要があります。この「重み輸送問題」（Grossberg 1987）は、BPの生物学的妥当性を疑う主要な理由の一つと考えられています。15種類の異なる分類データセットを使用して、我々は系統的にBPがどの程度重みの対称性に依存しているかを調査しました。本研究はLillicrapらによる実験（Lillicrap et al. 2014）と精神的には驚くほど似ていますが、結果は直交しています。我々の実験結果は以下の通りです：後ろ向き重みの大きさは性能に影響しません。後ろ向き重みの符号は重要です——前向き接続とそれに対応する後ろ向き接続間での符号の一貫性が高いほど、性能が向上します。後ろ向き重みがランダムな大きさを持ちながら100%の一貫した符号を持つ場合、SGDよりも同等または優れた性能を達成できました。このような非対称BPが機能するためには、バッチ正規化（BN）（Ioffe and Szegedy 2015）や/および「バッチマンハッタン」（BM）更新則などの正規化/安定化手法が不可欠であることが示されました。以上のように、本研究ではBPにおける重み対称性の重要性について詳細に検討し、その生物学的妥当性に関する新たな洞察を提供しています。