HyperAIHyperAI

Command Palette

Search for a command to run...

ノイズロバストなディープラーニングのための高速メタ更新戦略

Youjiang Xu Linchao Zhu Lu Jiang Yi Yang

概要

深層ニューラルネットワークが偏った訓練データに対して過学習しやすいことが示されており、この問題に対処するため、メタラーニングはメタモデルを用いて訓練バイアスを補正するアプローチを採用している。これまでは有望な性能が報告されているものの、メタラーニング手法における極めて遅い学習速度が現在の主要な課題となっている。本論文では、メタ勾配計算における最もコストの高いステップを、より高速なレイヤー単位の近似で置き換える新たな「高速メタ更新戦略(Faster Meta Update Strategy: FaMUS)」を提案する。実験的に、FaMUSがメタ勾配の精度が十分に高く、かつ分散が小さい近似を達成できることを確認した。2つのタスクにおいて広範な実験を実施した結果、本手法は訓練時間を約2/3削減しつつも、同等またはより優れた汎化性能を維持できることを示した。特に、合成データおよび現実的なノイズ付きラベルの両方において、最先端の性能を達成し、標準ベンチマークにおける長尾認識タスクにおいても有望な結果を得た。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ノイズロバストなディープラーニングのための高速メタ更新戦略 | 記事 | HyperAI超神経