ラベルスムージングはラベルノイズを軽減するか？

ラベルスムージングは、ディープラーニングモデルの学習において広く用いられる手法であり、ワンホット表現による教師ラベルに一様なラベルベクトルを混合することで実現される。経験的に、ラベルスムージングは予測性能およびモデルのキャリブレーションの両面で向上が確認されている。本論文では、ラベルスムージングがラベルノイズに対処する手段として有効であるかどうかを検討する。ラベルスムージングは明らかにラベルノイズの問題を悪化させるように見える——実際、ラベルに対称的なノイズを注入しているのと同等である——しかし、我々はこの手法がラベルノイズ研究分野における一般化された損失補正手法の族と関係していることを示す。この関係を基盤とし、ラベルノイズ下ではラベルスムージングが損失補正法と同等の性能を発揮することを示す。さらに、ノイズを含むデータから教師モデルを蒸留（distillation）する場合、教師モデルにおけるラベルスムージングが有効であることを明らかにする。これは、ノイズのない問題に対して最近報告された知見とは対照的であり、ラベルスムージングが特に有効となる状況について新たな知見を提供する。