ETran：基于能量的可迁移性估计

本文探讨了针对目标检测和图像分类任务的预训练模型排名问题。通过微调选择最佳预训练模型是一项成本高昂且耗时的任务。先前的研究提出了基于预训练模型提取特征的可迁移性评估方法。我们认为，量化目标数据集对于预训练模型是否属于同分布（In-Distribution, IND）或异分布（Out-of-Distribution, OOD）是可迁移性评估中的一个重要因素。为此，我们提出了一种基于能量的可迁移性评估指标——ETran，该指标包括三个分数：1）能量分数，2）分类分数，3）回归分数。我们利用基于能量的模型来判断目标数据集对于预训练模型而言是异分布还是同分布。与以往的工作相比，ETran适用于包括分类、回归和目标检测（分类+回归）在内的广泛任务。这是首次提出针对目标检测任务的可迁移性评估方法。我们在四个基准数据集和两个任务上进行了大量实验，结果显示ETran在目标检测和分类基准上的表现分别优于先前工作21%和12%，并在可迁移性评估中达到了当前最优水平（State-Of-The-Art, SOTA）。