要約
現実世界のシナリオでは、データが長尾分布（long-tailed distribution）を示す傾向があるため、深層ネットワークの学習が難しくなる。本論文では、新たな自己 paced 知識蒸留フレームワーク「Multiple Experts からの学習（Learning From Multiple Experts, LFME）」を提案する。本手法の着想は、分布の偏りが少ないサブセットで学習されたネットワークが、全体を同時に学習したモデルよりも優れた性能を発揮するという観察に基づいている。このようなモデルを「エキスパート（Experts）」と呼ぶ。提案する LFME フレームワークは、複数の「エキスパート」から得られた知識を統合し、統一された学生モデル（Student）を学習することを目的としている。具体的には、2段階の適応的学習スケジューリング機構——自己 paced エキスパート選択（Self-paced Expert Selection）とカリキュラムインスタンス選択（Curriculum Instance Selection）——を導入することで、知識を学生モデルに適応的に転送する。広範な実験により、本手法が最先端手法と比較して優れた性能を達成できることを示した。また、本手法が最先端の長尾分類アルゴリズムに容易に統合可能であり、さらなる性能向上が可能であることも示した。