HyperAIHyperAI

Command Palette

Search for a command to run...

共教:非常にノイジーなラベルを持つ深層ニューラルネットワークの堅牢な学習

Bo Han Quanming Yao Xingrui Yu Gang Niu Miao Xu Weihua Hu Ivor W. Tsang Masashi Sugiyama

概要

ノイジーなラベルを使用した深層学習は、実際的に挑戦的な課題である。深層モデルの容量が非常に高いため、訓練中にこれらのノイジーなラベルを完全に記憶してしまう可能性があるからだ。しかし、最近の深層ニューラルネットワークの記憶効果に関する研究では、これらのモデルがまずクリーンなラベルを持つ訓練データを記憶し、その後でノイジーなラベルを持つデータを記憶することが示されている。そこで本論文では、ノイジーなラベルへの対処のために新しい深層学習パラダイムであるCo-teaching(共教育)を提案する。具体的には、2つの深層ニューラルネットワークを同時に訓練し、各ミニバッチに対して互いに教え合う仕組みとする:まず、各ネットワークはすべてのデータを順方向に伝播し、おそらくクリーンなラベルを持つデータを選択する;次に、2つのネットワークはこのミニバッチ内でどのデータを使用して訓練すべきかについて情報を交換する;最後に、各ネットワークは相手のネットワークが選択したデータを逆方向に伝播させ、自己更新を行う。MNIST, CIFAR-10, CIFAR-100のノイジー版に対する実験結果は、Co-teachingが既存の最先端手法よりも訓練された深層モデルの堅牢性において優れていることを示している。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています