HyperAIHyperAI

Command Palette

Search for a command to run...

ノイズ付きラベルによる自己教師付き敵対的ノイズマスキングを用いた学習

Yuanpeng Tu Boshen Zhang Yuxi Li Liang Liu Jian Li Jiangning Zhang Yabiao Wang Chengjie Wang Cai Rong Zhao

概要

大規模なデータセットの収集は、深層モデルの学習に不可欠であるが、データのラベル付けにおいてノイズラベルが避けがたく生じる。これは深層学習アルゴリズムに大きな課題をもたらす。従来のアプローチは、トレーニングサンプル間の統計的特性(例えば損失値など)に基づいて、ノイズを含むサンプルを特定・除去するか、またはそのラベルを修正することでこの問題を緩和しようとしてきた。本論文では、この課題に新たな視点からアプローチする。深層特徴マップに着目し、清浄なサンプルと誤ラベルされたサンプルで学習されたモデルが、明確に異なる活性化特徴分布を示すことを実証的に発見した。この観察に基づき、ラベル品質をガイドとするマスキングスキームを用いて深層特徴を正則化する、新たなロバストな学習手法「アドバーサリーノイズマスキング(adversarial noisy masking)」を提案する。この手法の核心は、入力データとラベルを同時に適応的に調整するマスキング機構を導入し、モデルがノイズを含むサンプルに過剰適合するのを防ぐことにある。さらに、入力データの再構成を目的とする補助タスクを設計することで、ノイズのない自己教師信号を自然に得ることができ、深層モデルの汎化能力を強化する。提案手法は構造が単純かつ柔軟であり、合成データおよび実世界のノイズを含むデータセットにおいて評価された結果、従来の最先端手法と比較して顕著な性能向上が達成された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ノイズ付きラベルによる自己教師付き敵対的ノイズマスキングを用いた学習 | 記事 | HyperAI超神経