摘要
一方面，深度神经网络在学习大规模数据集方面表现出色；另一方面，它们在数据利用效率上却存在明显不足。这些模型通常需要大量标注数据来训练其庞大的参数量。在小规模数据集上训练更大、更深的网络时，若缺乏适当的正则化手段，将面临巨大挑战。与此同时，获取高质量、精确标注的数据既昂贵又耗时，往往难以实现。一种常见的正则化方法是使用来自另一个代表性数据集的更多数据进行网络训练。然而，如果该代表性数据集的统计特性与目标数据集差异较大，这种方法反而可能产生负面效果。这一困境的根本原因在于“领域偏移”（domain shift）问题：当使用来自代表性领域特征提取器处理来自偏移领域（shifted domain）的数据时，所生成的特征可能无法充分适应目标领域，从而导致性能下降。为解决该问题，过去已提出多种领域自适应（domain adaptation）技术。本文提出一种新型领域自适应方法——d-SNE，该方法巧妙结合了随机邻域嵌入（stochastic neighborhood embedding）技术与一种新颖的改进型豪斯多夫距离（modified-Hausdorff distance）。所提出的d-SNE方法具备端到端可学习的特性，因而特别适合用于神经网络的训练。大量实验结果表明，d-SNE在性能上超越了当前最先进的方法，并对不同数据集之间的差异具有较强的鲁棒性，即使在单样本学习（one-shot learning）和半监督学习（semi-supervised learning）场景下亦表现优异。此外，d-SNE还展现出同时适应多个目标领域的能力，具备良好的泛化潜力。