图像重建作为特征分析的工具

视觉编码器在现代应用中越来越广泛，从纯视觉模型到多模态系统（如视觉-语言模型）都有所涉及。尽管这些架构取得了显著的成功，但它们如何内部表示特征仍然不清楚。本文提出了一种通过图像重建来解释视觉特征的新方法。我们比较了两个相关的模型家族，SigLIP 和 SigLIP2，这两个模型仅在训练目标上有所不同，并展示了在基于图像的任务上预训练的编码器比那些在非图像任务（如对比学习）上训练的编码器保留了更多的图像信息。此外，我们将该方法应用于一系列视觉编码器，根据其特征表示的信息量对它们进行排名。最后，我们证明了操纵特征空间可以导致重建图像中的可预测变化，揭示了正交旋转（而非空间变换）控制颜色编码。我们的方法可以应用于任何视觉编码器，从而揭示其特征空间的内部结构。实验的代码和模型权重已在 GitHub 上提供。