1ヶ月前

ノイジーなラベルを持つ深層ニューラルネットワークの学習に向けた一般化クロスエントロピー損失

Zhilu Zhang; Mert R. Sabuncu
ノイジーなラベルを持つ深層ニューラルネットワークの学習に向けた一般化クロスエントロピー損失
要約

深層ニューラルネットワーク(DNNs)は、多くの学問分野における様々な応用で大きな成功を収めています。しかし、その優れた性能は、正しくアノテーションされた大規模データセットの必要性という高価なコストを伴います。さらに、DNNsの豊富な表現能力により、訓練ラベルの誤りが性能に悪影響を及ぼす可能性があります。この問題に対処するために、最近では一般的に使用されているカテゴリカルクロスエントロピー(CCE)損失のノイズ耐性のある代替手段として、平均絶対誤差(MAE)が提案されています。しかしながら、本論文で示すように、MAEはDNNsと難易度の高いデータセットにおいて性能が低下する場合があります。ここでは、理論的に裏付けられた一連のノイズ耐性のある損失関数を提示します。これらの損失関数はMAEとCCEの一般化とみなすことができ、既存のDNNアーキテクチャやアルゴリズムに容易に適用できつつ、幅広いノイジーラベルシナリオで良好な性能を発揮します。私たちはCIFAR-10、CIFAR-100およびFASHION-MNISTデータセットを使用し、人工的に生成されたノイジーラベルとの実験結果を報告します。

ノイジーなラベルを持つ深層ニューラルネットワークの学習に向けた一般化クロスエントロピー損失 | 最新論文 | HyperAI超神経