ノイズのあるラベルを用いた学習における一般化ラベルスムージングの理解

ラベルスムージング（Label Smoothing, LS）は、ハードラベルと一様分布するソフトラベルの正の重み付き平均を用いる、注目される学習パラダイムである。従来の研究では、LSがハードラベルを用いた学習データに対して正則化効果を発揮し、モデルの汎化性能を向上させることを示した。さらに、ノイズを含むラベルを用いた学習においても、LSがロバスト性の向上に寄与することが報告された。しかし、本研究では、ラベルノイズ率が極めて高い状況においては、LSの利点が顕著に消失することを観察した。この現象に疑問を抱いた我々は、文献に提案された多数のノイズラベルを用いた学習手法が、実際にはLSとは本質的に異なる「負のラベルスムージング」（Negative Label Smoothing, NLS）に類似していることに気づいた。NLSとは、ハードラベルとソフトラベルを負の重みで組み合わせる定式化を意味する。本研究では、PLS（正のラベルスムージング）とNLSが達成するモデルの信頼度（confidence）において顕著な相違があることを示す。この二つのケースを明確に区別するために、LSを「正のラベルスムージング」（PLS）と呼ぶことにし、本論文ではPLSとNLSを統一的に「一般化ラベルスムージング」（Generalized Label Smoothing, GLS）として定式化する。さらに、ノイズラベルを用いた学習におけるGLSの性質について理論的・実験的に考察する。特に、既存の知見に加えて、ラベルノイズ率が高い状況ではNLSがより有益であることを理論的に示す。また、複数のベンチマーク上で広範な実験結果を提示し、本研究の主張を裏付ける。