Command Palette

Search for a command to run...

4ヶ月前

ノイズのあるラベルを用いた学習における一般化ラベルスムージングの理解

{Yang Liu Gang Niu Tongliang Liu Hangyu Liu Jiaheng Wei}

ノイズのあるラベルを用いた学習における一般化ラベルスムージングの理解

要約

ラベルスムージング(Label Smoothing, LS)は、ハードラベルと一様分布するソフトラベルの正の重み付き平均を用いる、注目される学習パラダイムである。従来の研究では、LSがハードラベルを用いた学習データに対して正則化効果を発揮し、モデルの汎化性能を向上させることを示した。さらに、ノイズを含むラベルを用いた学習においても、LSがロバスト性の向上に寄与することが報告された。しかし、本研究では、ラベルノイズ率が極めて高い状況においては、LSの利点が顕著に消失することを観察した。この現象に疑問を抱いた我々は、文献に提案された多数のノイズラベルを用いた学習手法が、実際にはLSとは本質的に異なる「負のラベルスムージング」(Negative Label Smoothing, NLS)に類似していることに気づいた。NLSとは、ハードラベルとソフトラベルを負の重みで組み合わせる定式化を意味する。本研究では、PLS(正のラベルスムージング)とNLSが達成するモデルの信頼度(confidence)において顕著な相違があることを示す。この二つのケースを明確に区別するために、LSを「正のラベルスムージング」(PLS)と呼ぶことにし、本論文ではPLSとNLSを統一的に「一般化ラベルスムージング」(Generalized Label Smoothing, GLS)として定式化する。さらに、ノイズラベルを用いた学習におけるGLSの性質について理論的・実験的に考察する。特に、既存の知見に加えて、ラベルノイズ率が高い状況ではNLSがより有益であることを理論的に示す。また、複数のベンチマーク上で広範な実験結果を提示し、本研究の主張を裏付ける。

ベンチマーク

ベンチマーク方法論指標
learning-with-noisy-labels-on-cifar-10n-worstNegative-LS
Accuracy (mean): 82.99

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ノイズのあるラベルを用いた学習における一般化ラベルスムージングの理解 | 論文 | HyperAI超神経