神经网络检查点排序

本文关注于对许多预训练的深度神经网络（DNNs），称为检查点，进行排序，以用于下游任务的迁移学习。由于DNNs的广泛应用，我们可以轻松地从各种来源收集数百个检查点。其中哪一个在我们感兴趣的下游任务中表现最佳？为了全面回答这一问题，我们建立了一个神经检查点排名基准（NeuCRaB），并研究了一些直观的排名指标。这些指标具有通用性，适用于不同输出类型的检查点，而无需了解这些检查点是在哪个数据集上预训练的。此外，这些指标计算成本较低，具有实际意义。我们的研究结果表明，由检查点提取的特征的线性可分性是迁移能力的一个强有力指标。我们还提出了一种新的排名指标——NLEEP，该指标在实验中表现出最佳性能。