摘要
我们从知识蒸馏的角度出发，提出了一种名为“蒸馏虚拟样本”（Distill the Virtual Examples, DiVE）的方法，以应对长尾视觉识别问题。具体而言，通过将教师模型的预测结果视为虚拟样本，我们证明了在特定约束条件下，从这些虚拟样本中进行知识蒸馏等价于标签分布学习。实验表明，当虚拟样本的分布比原始输入分布更加平缓时，低频尾部类别将获得显著提升，这在长尾识别任务中至关重要。所提出的DiVE方法能够显式地调节虚拟样本分布，使其趋于平缓。在三个基准数据集（包括大规模的iNaturalist数据集）上的大量实验结果表明，该方法显著优于当前最先进的技术。此外，进一步的分析与实验验证了虚拟样本解释的有效性，并证明了DiVE中针对长尾问题所设计的特定机制具有显著的实用性与有效性。