HyperAIHyperAI

Command Palette

Search for a command to run...

ロバストな早期学習:ノイズのあるラベルの記憶化を抑制する

Yi Chang ZongYuan Ge Nannan Wang Chen Gong Bo Han Tongliang Liu Xiaobo Xia

概要

深層ネットワークの記憶化効果(memorization effects)は、モデルがまずラベルがクリーンな訓練データを記憶し、その後ノイズを含むラベルのデータを記憶することを示している。このため、早期停止(early stopping)手法をノイズを含むラベルでの学習に活用することが可能である。しかし、ノイズラベルがもたらす副作用は、早期停止が発生する前にクリーンラベルの記憶化を妨げる影響を及ぼす。本研究では、一般化に重要なのはパラメータの一部に限られることを示すロトケイ・チケット仮説(lottery ticket hypothesis)に着想を得て、クリーンラベルに適合し良好な一般化性能を発揮するには、一部のパラメータのみが重要であることを発見した。これを重要パラメータ(critical parameters)と呼ぶ。一方、他のパラメータはノイズラベルに適合しがちであり、一般化性能が劣るため、非重要パラメータ(non-critical parameters)と呼ぶ。この知見に基づき、早期停止までの間にノイズラベルの副作用を低減し、クリーンラベルの記憶化を強化することを目的として、ロバスト早期学習(robust early-learning)を提案する。具体的には、各反復においてすべてのパラメータを重要と非重要に分類し、それぞれに異なる更新ルールを適用する。標準的なシミュレートされたノイズラベルデータセットおよび実世界のノイズラベルデータセットにおける広範な実験により、本手法が最先端のノイズラベル学習手法を上回る優れた性能を発揮することが実証された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ロバストな早期学習:ノイズのあるラベルの記憶化を抑制する | 記事 | HyperAI超神経