17 天前

基于外在与内在监督的领域泛化学习

Shujun Wang, Lequan Yu, Caizi Li, Chi-Wing Fu, Pheng-Ann Heng
基于外在与内在监督的领域泛化学习
摘要

神经网络在不同数据域之间的泛化能力对于实际应用至关重要。我们认为,一个具备良好泛化能力的物体识别系统,应当同时深入理解图像之间的相互关系以及图像本身的内在特征。为此,我们提出了一种新的域泛化框架,该框架通过联合利用外在关系监督(extrinsic relationship supervision)与内在自监督(intrinsic self-supervision),从多源域图像中同步学习跨域泛化能力。具体而言,我们采用多任务学习范式构建特征嵌入框架:在执行常规监督识别任务的同时,无缝融合一种动量度量学习任务(momentum metric learning)与一项自监督辅助任务,从而协同利用外在监督信号与内在监督信号。此外,我们设计了一种高效的动量度量学习策略,引入K个最难负样本挖掘(K-hard negative mining)机制,以增强网络对图像间关系的捕捉能力,从而提升域泛化性能。我们在两个标准物体识别基准数据集VLCS和PACS上验证了所提方法的有效性,实验结果表明,该方法在多个评估场景下均达到了当前最优(state-of-the-art)性能。