17 天前

通过偏差消除实现数据增强与通用多模态数据学习方法

Yunpeng Gong, Liqing Huang, Lifei Chen
通过偏差消除实现数据增强与通用多模态数据学习方法
摘要

计算机视觉面临的一个关键挑战在于,系统需适应复杂多变环境中存在的色彩偏差。因此,降低色彩偏差对模型预测带来的负面影响,成为视觉任务中的核心目标之一。当前主流解决方案通常采用生成模型对训练数据进行增强,以提升模型对输入变化的不变性。然而,这类方法往往引入新的噪声,限制了生成数据带来的性能增益。针对这一问题,本文提出一种“以偏差消除偏差”的策略,命名为随机色彩丢弃(Random Color Dropout, RCD)。其核心假设是:当查询图像与图库图像之间存在色彩偏差时,若在部分样本上忽略色彩信息,检索结果反而可能更优。具体而言,该策略通过在训练数据中随机丢弃部分色彩信息,动态调节神经网络中色彩特征与色彩无关特征之间的权重平衡,从而有效缓解色彩偏差的影响。所提出的RCD方法无需改变现有重识别(ReID)模型的学习策略,可无缝集成于多种主流ReID架构中,并具备良好的泛化能力,适用于其他计算机视觉任务,如目标检测等。在多个ReID基准模型及Market1501、DukeMTMC和MSMT17三个主流大规模数据集上的实验验证了该方法的有效性。跨域测试结果进一步表明,RCD在显著缓解域间差异方面具有显著效果。此外,为深入理解RCD的工作机制,本文从分类任务的角度对其有效性进行了分析,结果表明:在领域差异较大的视觉任务中,适度利用部分而非全部色彩信息,可能比完全依赖色彩特征更具优势。这一发现为视觉模型在复杂环境下的鲁棒性设计提供了新的思路。