11 天前

MILA:基于记忆的实例级跨域目标检测自适应方法

Onkar Krishna, Hiroki Ohashi, Saptarshi Sinha
MILA:基于记忆的实例级跨域目标检测自适应方法
摘要

跨域目标检测具有挑战性,其核心在于对齐带有标签的源域与无标签的目标域。以往的方法采用对抗训练策略,在图像级和实例级两个层面实现特征对齐。在实例级对齐中,找到与目标样本相匹配的合适源样本至关重要。一个合适的源样本应仅在域属性上与目标样本存在差异,而在姿态、颜色等无关特征上保持一致,因为这些无关特征的差异会干扰模型对域差异的关注。然而,现有实例级特征对齐方法难以有效寻找到合适的源实例,其搜索范围受限于小批量(mini-batch)数据。由于小批量通常规模较小,往往无法包含与目标样本匹配的合适源实例。当目标实例存在较高类内差异时,小批量所固有的特征多样性不足问题尤为突出。为解决这一问题,本文提出一种基于记忆机制的实例级域自适应框架。该方法通过从记忆存储中检索与目标实例类别相同且最相似的源实例,实现二者之间的对齐。具体而言,我们设计了一个记忆模块,用于动态存储所有带标签源实例的池化特征,并按类别进行分类管理。此外,我们引入了一个简单而高效的记忆检索模块,能够为目标实例检索出一组匹配的记忆槽(memory slots)。在多种域偏移场景下的实验结果表明,所提方法显著优于现有的非记忆型方法。

MILA:基于记忆的实例级跨域目标检测自适应方法 | 最新论文 | HyperAI超神经