滑らかにするべきか？ラベルスムージングがノイズのあるラベルと遭遇したとき

ラベルスムージング（Label Smoothing: LS）は、ハードラベルと一様分布するソフトラベルの正の重み付き平均を用いる、注目される学習パラダイムである。従来の研究では、LSがハードラベルを用いた学習データに対して正則化効果を発揮し、モデルの汎化性能を向上させることを示している。その後、ノイズを含むラベルでの学習においても、LSがモデルのロバスト性の向上に寄与することが報告された。しかし、本研究では、ラベルノイズ率が高い状況下では、LSの利点が著しく減少することを観察した。直感的には、ノイズ率が高い場合、条件付き確率分布 $\mathbb{P}(\text{ノイズラベル}|X)$ のエントロピーが増大するため、さらにLSを適用すると、推定された事後確率が「過剰にスムージング」されてしまうことが原因であると考えられる。この現象を踏まえ、我々は既存のノイズラベル学習に関するいくつかの手法が、実際にはLSとは逆の性質を持つ「負のラベルスムージング（Negative Label Smoothing: NLS）」とより密接に関連していることを発見した。NLSは、ハードラベルとソフトラベルを負の重みで結合するという、LSとは逆の作用を持つ手法である。本研究では、ノイズラベルを用いた学習におけるLSおよびNLSの特性について、理論的・実験的に考察した。特に、既存の知見に加えて、理論的にも、ラベルノイズ率が高い状況ではNLSがより有益であることを示した。さらに、複数のベンチマークデータセットを用いた広範な実験により、本研究の主張を裏付ける結果を得た。実装コードは、https://github.com/UCSC-REAL/negative-label-smoothing にて公開されている。