14 天前

置换AdaIN:降低图像分类中对全局统计量的偏差

Oren Nuriel, Sagie Benaim, Lior Wolf
置换AdaIN:降低图像分类中对全局统计量的偏差
摘要

近期研究发现,卷积神经网络分类器在分类过程中过度依赖纹理信息,而忽视了形状线索。本文提出了一种与之相似但有所不同的区分:一方面关注形状与局部图像线索,另一方面则关注全局图像统计特征。为此,我们提出了一种名为置换自适应实例归一化(Permuted Adaptive Instance Normalization, pAdaIN)的方法,旨在降低图像分类器隐藏层中对全局统计特征的依赖。pAdaIN 首先对给定批次中的样本进行随机置换,生成一个随机排列 $π$,随后在每个原始样本 $i$ 的激活值与对应置换样本 $π(i)$ 的激活值之间应用自适应实例归一化(Adaptive Instance Normalization, AdaIN)。该操作实质上在批次内的样本之间交换了统计特性。由于全局图像统计信息被破坏,网络被迫更多地依赖于形状、纹理等局部线索以完成任务。通过以概率 $p$ 选择随机置换,其余情况采用恒等置换,可以灵活调控该方法的影响强度。在合理选择 $p$ 的前提下(该参数在所有实验中固定不变,且不依赖于测试数据的使用),我们的方法在多种任务设置下均显著优于基线模型。在图像分类任务中,该方法在多个网络架构下均提升了 CIFAR100 与 ImageNet 数据集上的性能。在鲁棒性评估设置中,该方法在 ImageNet-C 与 CIFAR100-C 上也展现出对多种图像退化类型的更强鲁棒性。在领域自适应与领域泛化任务中,pAdaIN 在从 GTAV 到 Cityscapes 的迁移学习任务以及 PACS 基准测试中均取得了当前最优(state-of-the-art)的性能表现。

置换AdaIN:降低图像分类中对全局统计量的偏差 | 最新论文 | HyperAI超神经