摘要
在现实场景中，数据往往呈现长尾分布，这增加了深度网络训练的难度。本文提出了一种新颖的自步知识蒸馏框架，称为“从多位专家中学习”（Learning From Multiple Experts, LFME）。我们的方法受到如下观察的启发：在分布中相对平衡的子集上训练的模型，其性能通常优于联合训练的模型。我们将这些模型称为“专家”（Experts），而所提出的LFME框架则通过聚合多位“专家”的知识，来学习一个统一的学生模型。具体而言，该框架包含两个层级的自适应学习调度机制：自步专家选择（Self-paced Expert Selection）与课程实例选择（Curriculum Instance Selection），从而实现知识向“学生”模型的自适应迁移。大量实验结果表明，与现有最先进方法相比，本方法能够取得更优的性能。此外，我们还证明，该方法可轻松集成到当前主流的长尾分类算法中，进一步提升其性能。