熵不足以支撑测试时自适应：解耦因子的视角

测试时自适应（Test-time Adaptation, TTA）旨在对预训练的深度神经网络进行微调，以适应未见过的测试数据。TTA面临的主要挑战是在在线更新过程中无法获取完整的测试数据集，这导致误差累积问题。为缓解该问题，现有TTA方法通常利用模型输出的熵作为置信度度量，试图识别那些较不易引发错误的样本。然而，通过实验研究我们发现，在数据分布存在偏移的场景下，熵作为置信度度量并不可靠；进一步的理论分析表明，其根源在于现有方法忽略了数据潜在解耦因子对预测结果的影响。基于上述发现，我们提出一种新型TTA方法——Destroy Your Object（DeYO），其核心是引入一种新的置信度度量指标：伪标签概率差（Pseudo-Label Probability Difference, PLPD）。PLPD通过测量在施加对象破坏性变换前后模型预测结果的差异，量化对象形状对预测的影响程度。DeYO方法包含样本选择与样本加权两个模块，同时结合使用熵与PLPD指标。为实现稳健的适应，DeYO优先选择在预测中主要依赖形状信息的样本进行更新。大量实验结果表明，DeYO在多种场景下——包括存在数据偏移和复杂真实场景（wild）——均显著优于现有基线方法。项目主页已公开，欢迎访问：https://whitesnowdrop.github.io/DeYO/。