HyperAIHyperAI

Command Palette

Search for a command to run...

自己教師あり学習および半教師あり学習のための指数移動平均正規化

Zhaowei Cai Avinash Ravichandran Subhransu Maji Charless Fowlkes Zhuowen Tu Stefano Soatto

概要

バッチ正規化(BN)のプラグイン型代替手法として、指数移動平均正規化(EMAN)を提案する。本手法は、従来の生徒-教師型自己教師ありおよび半教師あり学習手法の性能を向上させる。標準的なBNでは各バッチ内で統計量を計算するのに対し、EMANは教師側で生徒側のBN統計量をもとに指数移動平均により統計量を更新する。この設計により、BNに内在するサンプル間依存性を低減し、教師モデルの汎化性能を向上させる。ImageNetにおいて1%または10%のラベル付きデータを用いた場合、自己教師あり学習においてベースラインを4~6ポイント、半教師あり学習において約7ポイント向上させる。これらの向上効果は、手法やネットワークアーキテクチャ、学習期間、データセットの種類にかかわらず一貫して確認され、本手法の汎用的な有効性を示している。コードは以下のURLで公開されている:https://github.com/amazon-research/exponential-moving-average-normalization


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
自己教師あり学習および半教師あり学習のための指数移動平均正規化 | 記事 | HyperAI超神経