17 天前

关于特征归一化与数据增强

Boyi Li, Felix Wu, Ser-Nam Lim, Serge Belongie, Kilian Q. Weinberger
关于特征归一化与数据增强
摘要

在训练图像识别模型时,潜在特征的矩(即均值与标准差)通常被视为噪声而被去除,以提升训练稳定性并缩短训练时间。然而,在图像生成领域,这些矩却扮演着更为核心的角色。研究表明,通过实例归一化(instance normalization)和位置归一化(positional normalization)提取出的矩,能够大致捕捉图像的风格与形状信息。因此,这些矩并非应被丢弃,反而在生成过程中具有关键作用。本文提出一种名为“矩交换”(Moment Exchange)的隐式数据增强方法,旨在促使识别模型也能够利用矩信息。具体而言,该方法将某一训练图像所学习到的特征矩替换为另一图像的矩,并对目标标签进行插值,从而迫使模型在依赖归一化特征的同时,也从矩信息中提取训练信号。由于该方法计算高效、完全在特征空间中操作,且引入的信号与以往方法显著不同,因此可与现有增强技术有效结合。我们在多个主流识别基准数据集上验证了该方法的有效性,结果表明,Moment Exchange能够以高度一致的方式显著提升高性能基线网络的泛化能力。

关于特征归一化与数据增强 | 最新论文 | HyperAI超神经