17日前

ラベルノイズ下におけるロバストなロングテール学習

Tong Wei, Jiang-Xin Shi, Wei-Wei Tu, Yu-Feng Li
ラベルノイズ下におけるロバストなロングテール学習
要約

近年、尾部クラスの一般化性能を向上させることが目的の「ロングテール学習」に注目が集まっている。しかし、既存の大多数の研究は、訓練データセットに広く存在するラベルノイズを考慮せずに教師あり学習に依拠している。より現実的な状況に近づけるため、本研究ではロングテールラベル分布下におけるラベルノイズ問題に着目する。まず、既存手法に対するノイズラベルの悪影響を観察し、この問題が内在する課題であることを明らかにした。これまでの文献で最も一般的に用いられるノイズラベル対処法である「小損失トリック(small-loss trick)」が、ロングテール分布下では効果を発揮しないことも発見した。その理由は、深層ニューラルネットワークが尾部クラスにおける正しくラベル付けされたサンプルと誤ラベル付けされたサンプルを区別できないためである。この制約を克服するため、ラベルノイズに対して耐性を持つ距離ベースのメトリクスを設計し、新たなプロトタイプ型ノイズ検出手法を構築した。上記の知見を基に、本研究は、ロングテール学習におけるノイズ検出を実現する堅牢なフレームワーク、~\algo を提案する。このフレームワークでは、ラベルスムージングと多様なラベル推定を用いたソフト仮ラベル付けを実施する。さらに、本フレームワークは、半教師あり学習アルゴリズムを自然に活用でき、一般化性能のさらなる向上が可能となる。ベンチマークデータセットおよび実世界データセットを用いた広範な実験により、提案手法が既存のベースラインを上回ることを示した。特に、DivideMixに対してテスト精度で3%の優位性を示した。ソースコードは近日中に公開予定である。