HyperAIHyperAI

Command Palette

Search for a command to run...

複数のエキスパートからの学習:長尾分類のための自己 paced 知識蒸留

Liuyu Xiang Guiguang Ding Jungong Han

概要

現実世界のシナリオでは、データが長尾分布(long-tailed distribution)を示す傾向があるため、深層ネットワークの学習が難しくなる。本論文では、新たな自己 paced 知識蒸留フレームワーク「Multiple Experts からの学習(Learning From Multiple Experts, LFME)」を提案する。本手法の着想は、分布の偏りが少ないサブセットで学習されたネットワークが、全体を同時に学習したモデルよりも優れた性能を発揮するという観察に基づいている。このようなモデルを「エキスパート(Experts)」と呼ぶ。提案する LFME フレームワークは、複数の「エキスパート」から得られた知識を統合し、統一された学生モデル(Student)を学習することを目的としている。具体的には、2段階の適応的学習スケジューリング機構——自己 paced エキスパート選択(Self-paced Expert Selection)とカリキュラムインスタンス選択(Curriculum Instance Selection)——を導入することで、知識を学生モデルに適応的に転送する。広範な実験により、本手法が最先端手法と比較して優れた性能を達成できることを示した。また、本手法が最先端の長尾分類アルゴリズムに容易に統合可能であり、さらなる性能向上が可能であることも示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
複数のエキスパートからの学習:長尾分類のための自己 paced 知識蒸留 | 記事 | HyperAI超神経