8 天前

SENTRY:基于委员会一致性的选择性熵优化用于无监督域自适应

Viraj Prabhu, Shivam Khare, Deeksha Kartik, Judy Hoffman
SENTRY:基于委员会一致性的选择性熵优化用于无监督域自适应
摘要

现有的大多数无监督域自适应(Unsupervised Domain Adaptation, UDA)方法主要针对仅存在数据分布偏移(data distribution shift)的场景,而在面临额外的跨域标签分布偏移(cross-domain label distribution shift)时,其性能表现有限。近期基于目标域伪标签的自训练方法虽展现出一定潜力,但在面对剧烈分布偏移时,伪标签可能高度不可靠,若直接用于自训练,易引发误差累积与域错配问题。为此,我们提出一种名为“基于委员会一致性选择性熵优化”(Selective Entropy Optimization via Committee Consistency, SENTRY)的UDA算法。该方法通过评估目标样本在一组随机图像变换构成的“委员会”下的预测一致性,来判断其预测可靠性。在此基础上,算法对预测一致性高的目标样本,选择性地最小化其预测熵以增强模型置信度;而对于预测一致性低的样本,则最大化其预测熵以降低置信度。结合基于伪标签的近似目标类别平衡策略,SENTRY在标准UDA基准测试中的31个域迁移任务中,有27个实现了显著优于当前最先进方法的性能;同时在专为测试标签分布偏移下适应能力而设计的挑战性基准上,也展现出卓越的鲁棒性与泛化能力。

SENTRY:基于委员会一致性的选择性熵优化用于无监督域自适应 | 最新论文 | HyperAI超神经