不一致がラベルの汚染に対して汎化をどのように助けるか

ノイズ付きラベルでの学習は、弱教師あり学習における最も注目される問題の一つです。深層ニューラルネットワークの記憶効果に基づき、小損失インスタンスでの学習がノイズ付きラベルの処理において非常に有望であることが示されています。これにより、「Co-teaching（コティーチング）」という最先端の手法が提案されました。この手法では、二つの深層ニューラルネットワークを小損失トリックを使用して交互に訓練します。しかし、エポック数が増加するにつれて、二つのネットワークは合意点に収束し、Co-teachingは自己訓練型MentorNet（メンターネット）に還元されてしまいます。この問題に対処するために、私たちは「Co-teaching+（コティーチングプラス）」と呼ばれる堅牢な学習パラダイムを提案します。これは、「不一致による更新（Update by Disagreement）」戦略を元のCo-teachingと結びつけたものです。まず、二つのネットワークは全データに対して順方向に伝播し予測を行いますが、予測結果が不一致となるデータのみを保持します。次に、これらの不一致データの中から各ネットワークは自らの小損失データを選択しますが、ピアネットワークからの小損失データを逆方向に伝播させて自身のパラメータを更新します。ベンチマークデータセットに対する実験結果は、Co-teaching+が多くの最先端手法よりも訓練済みモデルの堅牢性において優れていることを示しています。