Command Palette
Search for a command to run...
ロバストな早期学習:ノイズのあるラベルの記憶化を抑制する
ロバストな早期学習:ノイズのあるラベルの記憶化を抑制する
Yi Chang ZongYuan Ge Nannan Wang Chen Gong Bo Han Tongliang Liu Xiaobo Xia
概要
深層ネットワークの記憶化効果(memorization effects)は、モデルがまずラベルがクリーンな訓練データを記憶し、その後ノイズを含むラベルのデータを記憶することを示している。このため、早期停止(early stopping)手法をノイズを含むラベルでの学習に活用することが可能である。しかし、ノイズラベルがもたらす副作用は、早期停止が発生する前にクリーンラベルの記憶化を妨げる影響を及ぼす。本研究では、一般化に重要なのはパラメータの一部に限られることを示すロトケイ・チケット仮説(lottery ticket hypothesis)に着想を得て、クリーンラベルに適合し良好な一般化性能を発揮するには、一部のパラメータのみが重要であることを発見した。これを重要パラメータ(critical parameters)と呼ぶ。一方、他のパラメータはノイズラベルに適合しがちであり、一般化性能が劣るため、非重要パラメータ(non-critical parameters)と呼ぶ。この知見に基づき、早期停止までの間にノイズラベルの副作用を低減し、クリーンラベルの記憶化を強化することを目的として、ロバスト早期学習(robust early-learning)を提案する。具体的には、各反復においてすべてのパラメータを重要と非重要に分類し、それぞれに異なる更新ルールを適用する。標準的なシミュレートされたノイズラベルデータセットおよび実世界のノイズラベルデータセットにおける広範な実験により、本手法が最先端のノイズラベル学習手法を上回る優れた性能を発揮することが実証された。