HyperAIHyperAI

Command Palette

Search for a command to run...

ラベルノイズ下における効率的学習のためのノイズあり同時学習

Fahad Sarfraz Elahe Arani Bahram Zonooz

概要

深層ニューラルネットワーク(DNN)はラベルノイズ下では効果的に学習できず、ランダムなラベルを記憶してしまうことが示されており、これにより一般化性能が低下する。標準的な学習手順における主な課題として、ワンホット符号化されたラベルを唯一の教師信号として用いる孤立学習、および記憶を抑制する正則化の欠如が挙げられる。そこで本研究では、二つのモデル間の合意を追加の教師信号として利用する協調学習を活用する「ノイズ付き同時学習(Noisy Concurrent Training, NCT)」を提案する。さらに、脳内の試行間変動に着想を得て、直感に反する正則化手法「ターゲット変動性(target variability)」を提案する。この手法は、各バッチにおいて訓練サンプルの一部のラベルをランダムに変更することで、DNNの記憶化および過度な一般化を抑制するものである。ターゲット変動性は各モデルに対して独立して適用され、モデル間の乖離を維持し、確認バイアスを回避する。DNNは通常、ノイズのあるラベルの記憶よりも単純なパターンの学習を優先する傾向にあるため、本手法では訓練の進行に伴い、二つのモデルがますますその合意に依存する動的学習スキームを採用する。また、NCTでは訓練の後期段階においてターゲット変動性を段階的に増加させ、記憶化を防止する。本手法の有効性は、合成データおよび実世界のノイズを含むベンチマークデータセットにおいて実証された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています