17 天前

基于RKHS与GAN的监督表示学习理解

{Jian Huang, Yuling Jiao, Tianwen Wen, Jin Liu, Xu Liao}
基于RKHS与GAN的监督表示学习理解
摘要

深度监督学习的成功依赖于其自动数据表征能力。对于高维复杂数据而言,理想的表征应具备低维性与解耦性,同时尽可能保留原始信息。在本研究中,我们从统计学角度探讨了如何利用再生核希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS)与生成对抗网络(Generative Adversarial Networks, GAN)实现深度表征学习的目标。在总体层面,我们将理想的表征学习任务建模为寻找一个非线性映射,以最小化由RKHS刻画的条件独立性损失与由GAN刻画的解耦性损失之和。在样本层面,我们采用深度神经网络对目标映射进行非参数估计,并证明了该估计在总体目标函数值意义上的相合性。通过回归与分类任务中的全面数值实验及真实数据验证,我们展示了所提出方法的有效性。实验结果表明,该方法在预测精度上优于当前最先进的技术。