摘要
自监督视觉表征学习已引起广泛关注。尽管目前评估自监督表征最常见的方式是将其迁移到多种下游任务中，本文则转而研究如何衡量这些表征的可解释性，即理解原始表征中所编码的语义信息。我们将这一问题形式化为估计表征与人工标注概念空间之间的互信息。为量化该互信息，我们提出一种“解码瓶颈”机制：信息必须由简单的预测器捕获，这些预测器将概念映射到表征空间中形成的聚类。我们称这一方法为“反向线性探针”（reverse linear probing），其能够提供一个对表征语义性高度敏感的单一数值指标。该指标还可检测表征是否与标注概念的组合（如“红苹果”）相关，而不仅限于单一属性（如“红色”和“苹果”分别）的关联。最后，我们还提出，可利用监督分类器自动为大规模数据集打上丰富属性标签。基于上述洞见，我们对大量自监督表征进行了评估，并依据其可解释性进行排序，揭示了其与传统线性探针评估方法之间所呈现出的显著差异。