要約
ニューラルネットワークの分類用監督学習は通常、全体的な損失関数を使用して行われます。この損失関数は出力層に対して勾配を提供し、その勾配が隠れ層に逆伝播されて重みの更新方向を決定します。一方で、層ごとの損失関数を使用してネットワークを学習させる手法も存在します。本論文では初めて、層ごとの学習が様々な画像データセットにおいて最先端の性能に近づくことを示します。私たちは単一層サブネットワークと2つの異なる監督損失関数を使用して、隠れ層に対する局所的な誤差信号を生成し、これらの損失の組み合わせが局所学習の文脈での最適化に役立つことを示しています。局所的な誤差を使用することは、全体的な誤差を隠れ層まで逆伝播する必要がないため、より生物学的に妥当な深層学習への一歩となる可能性があります。完全に逆伝播を用いない変種は、高い生物学的妥当性を目指す方法の中でこれまで報告された結果を超える性能を発揮しました。コードは以下のURLから入手可能です: https://github.com/anokland/local-loss