深度特征作为感知度量的不合理有效性

尽管人类能够几乎毫不费力地快速评估两张图像之间的感知相似度，但其背后的机制被认为相当复杂。然而，目前最常用的感知度量指标，如峰值信噪比（PSNR）和结构相似性指数（SSIM），都是简单的浅层函数，无法捕捉到人类感知中的许多细微差别。最近，深度学习社区发现，经过ImageNet分类训练的VGG网络的特征在图像合成的训练损失中表现出显著的实用性。但是，这些所谓的“感知损失”到底有多接近人类感知？哪些因素对其成功至关重要？为回答这些问题，我们引入了一个新的包含人类感知相似度判断的数据集。我们系统地评估了不同架构和任务下的深层特征，并将其与经典度量指标进行比较。研究结果表明，深层特征在我们的数据集上大幅超越了所有先前的度量指标。更令人惊讶的是，这一结果不仅限于经过ImageNet训练的VGG特征，而是适用于不同的深度架构和监督水平（有监督、自监督或甚至无监督）。我们的研究结果表明，感知相似度是跨深度视觉表示的一种涌现属性。