要約
深層ニューラルネットワーク（DNN）はラベルノイズ下では効果的に学習できず、ランダムなラベルを記憶してしまうことが示されており、これにより一般化性能が低下する。標準的な学習手順における主な課題として、ワンホット符号化されたラベルを唯一の教師信号として用いる孤立学習、および記憶を抑制する正則化の欠如が挙げられる。そこで本研究では、二つのモデル間の合意を追加の教師信号として利用する協調学習を活用する「ノイズ付き同時学習（Noisy Concurrent Training, NCT）」を提案する。さらに、脳内の試行間変動に着想を得て、直感に反する正則化手法「ターゲット変動性（target variability）」を提案する。この手法は、各バッチにおいて訓練サンプルの一部のラベルをランダムに変更することで、DNNの記憶化および過度な一般化を抑制するものである。ターゲット変動性は各モデルに対して独立して適用され、モデル間の乖離を維持し、確認バイアスを回避する。DNNは通常、ノイズのあるラベルの記憶よりも単純なパターンの学習を優先する傾向にあるため、本手法では訓練の進行に伴い、二つのモデルがますますその合意に依存する動的学習スキームを採用する。また、NCTでは訓練の後期段階においてターゲット変動性を段階的に増加させ、記憶化を防止する。本手法の有効性は、合成データおよび実世界のノイズを含むベンチマークデータセットにおいて実証された。