2 个月前

LEEP:一种评估学习表示可迁移性的新指标

Cuong V. Nguyen; Tal Hassner; Matthias Seeger; Cedric Archambeau
LEEP:一种评估学习表示可迁移性的新指标
摘要

我们提出了一种新的度量方法来评估分类器所学习表示的可迁移性。该度量方法称为对数预期经验预测(Log Expected Empirical Prediction, LEEP),简单且易于计算:当给定一个在源数据集上训练的分类器时,只需要将目标数据集通过该分类器运行一次即可。我们从理论上分析了LEEP的性质,并通过实验证明了其有效性。我们的分析表明,LEEP可以预测迁移学习和元迁移学习方法的性能和收敛速度,即使对于小规模或不平衡的数据也是如此。此外,LEEP的表现优于最近提出的其他可迁移性度量方法,如负条件熵和H分数。特别值得注意的是,在从ImageNet迁移到CIFAR100的过程中,LEEP在与实际迁移准确率的相关性方面比最佳竞争方法提高了高达30%。

LEEP:一种评估学习表示可迁移性的新指标 | 最新论文 | HyperAI超神经