7 天前

基于文本表示的目标语义聚类实现鲁棒的通用领域自适应

{Yixin Zhang, Zilei Wang, Weinan He}
摘要

通用域适应(Universal Domain Adaptation, UniDA)旨在应对目标域中同时存在域偏移(domain shift)和未知类别偏移(unknown category shift)的挑战,实现源域知识向目标域的有效迁移。其核心难点在于准确识别共现类别样本并实现有效对齐。现有方法通常从无约束的连续图像表征空间中提取目标域语义中心,然而由于域偏移以及聚类数量未知等问题,这些中心往往导致对齐算法复杂且鲁棒性较差。本文基于视觉-语言模型,在语义上具有明确意义且离散的文本表征空间中搜索语义中心。受限的表征空间有效消除了域偏差,并提供了合适的语义粒度,从而支持设计一种简洁而鲁棒的域适应算法。具体而言,我们提出基于文本表征的TArget Semantics Clustering(TASC)方法,该方法以信息最大化作为统一优化目标,包含两个阶段:首先,在冻结编码器的前提下,采用基于贪心搜索的框架,寻找一组最优的文本嵌入以表征目标域语义;其次,在固定搜索结果的基础上,通过梯度下降对编码器进行微调,实现鲁棒的域对齐与私有类别的有效聚类。此外,我们进一步提出适用于UniDA场景的通用最大相似性(Universal Maximum Similarity, UniMS)评分函数,用于有效检测开放集样本。实验方面,我们在四种不同的类别偏移场景下评估了UniDA算法的通用性。在四个主流基准数据集上的大量实验结果表明,所提方法在性能与鲁棒性方面均显著优于现有方法,达到了当前最优水平。

基于文本表示的目标语义聚类实现鲁棒的通用领域自适应 | 最新论文 | HyperAI超神经