8 天前

基于动态分布适配的迁移学习

Jindong Wang, Yiqiang Chen, Wenjie Feng, Han Yu, Meiyu Huang, Qiang Yang
基于动态分布适配的迁移学习
摘要

迁移学习旨在通过利用源域的知识,为目标域学习出鲁棒的分类器。由于源域与目标域通常来自不同的数据分布,现有方法主要聚焦于对跨域边缘分布或条件分布进行适应。然而,在实际应用中,边缘分布与条件分布对域差异的贡献往往不同。现有方法无法对这两种分布的重要性进行定量评估,从而导致迁移性能不理想。本文提出了一种新概念——动态分布适应(Dynamic Distribution Adaptation, DDA),该方法能够对两类分布的相对重要性进行定量衡量。DDA可便捷地融入结构风险最小化(Structural Risk Minimization)框架,用于解决迁移学习问题。基于DDA,我们进一步提出了两种新型学习算法:(1)流形动态分布适应(Manifold Dynamic Distribution Adaptation, MDDA),适用于传统迁移学习;(2)动态分布适应网络(Dynamic Distribution Adaptation Network, DDAN),适用于深度迁移学习。大量实验结果表明,MDDA与DDAN显著提升了迁移学习的性能,在手写数字识别、情感分析和图像分类任务上,均优于当前最先进的深度学习与对抗性迁移方法,建立了强有力的基准。更重要的是,实验验证了边缘分布与条件分布在域差异中的贡献确实存在差异,而我们的DDA能够有效实现对其相对重要性的量化评估,从而带来更优的迁移效果。我们认为,这一发现对今后迁移学习领域的研究具有重要参考价值。

基于动态分布适配的迁移学习 | 最新论文 | HyperAI超神经