HyperAIHyperAI

Command Palette

Search for a command to run...

ローカル誤差信号を使用したニューラルネットワークの訓練

Arild Nøkland Lars H. Eidnes

概要

ニューラルネットワークの分類用監督学習は通常、全体的な損失関数を使用して行われます。この損失関数は出力層に対して勾配を提供し、その勾配が隠れ層に逆伝播されて重みの更新方向を決定します。一方で、層ごとの損失関数を使用してネットワークを学習させる手法も存在します。本論文では初めて、層ごとの学習が様々な画像データセットにおいて最先端の性能に近づくことを示します。私たちは単一層サブネットワークと2つの異なる監督損失関数を使用して、隠れ層に対する局所的な誤差信号を生成し、これらの損失の組み合わせが局所学習の文脈での最適化に役立つことを示しています。局所的な誤差を使用することは、全体的な誤差を隠れ層まで逆伝播する必要がないため、より生物学的に妥当な深層学習への一歩となる可能性があります。完全に逆伝播を用いない変種は、高い生物学的妥当性を目指す方法の中でこれまで報告された結果を超える性能を発揮しました。コードは以下のURLから入手可能です: https://github.com/anokland/local-loss


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています