非監督ラベルノイズモデルと損失補正

ラベルノイズの少量に対して堅牢であるにもかかわらず、確率的勾配法で訓練された畳み込みニューラルネットワークは、ランダムなラベルを容易に適合することが示されています。正しくラベル付けされたターゲットと誤ってラベル付けされたターゲットが混在している場合、ネットワークは前者を後者よりも先に適合する傾向があります。これは、訓練中のサンプル損失値の非監督生成モデルとして適切な二成分混合モデルを使用することを示唆しています。これにより、サンプルが誤ってラベル付けされている確率のオンライン推定が可能になります。具体的には、この確率を推定し、ネットワーク予測（いわゆるブートストラッピング損失）に基づいて損失を補正するためにベータ混合モデルを提案します。さらに、mixup拡張技術を適応させて当アプローチを一段階進めます。CIFAR-10/100およびTinyImageNetでの実験結果は、当手法が最近の最先端技術よりも大幅に優れたラベルノイズに対する堅牢性を持つことを示しています。ソースコードは https://git.io/fjsvE で利用可能です。