11 天前

基于因果机制的视觉识别上下文去偏方法

{Tao Yang, TingHao Yu, Haodi Hou, Ge Li, Hao liu, Ruyang Liu}
基于因果机制的视觉识别上下文去偏方法
摘要

在视觉世界中,上下文偏差(contextual bias)是一个普遍存在的问题,指识别结果可能更多依赖于物体共现的上下文环境,而非物体本身特征。这一问题在多标签任务中尤为严重,因为存在多个目标且缺乏目标位置信息。尽管已有部分研究致力于解决该问题,但消除上下文带来的负面影响仍具挑战性,主要原因在于难以获取上下文偏差的可表征形式。本文提出了一种简单而有效的框架,通过因果推断方法缓解上下文偏差。我们首先构建了一个结构化因果模型(Structural Causal Model, SCM),以明确物体表征、上下文信息与预测结果之间的因果关系。随后,设计了一种新型的因果上下文去偏模块(Causal Context Debiasing, CCD),旨在捕捉实例的直接效应。具体而言,我们采用因果干预(causal intervention)消除混淆因子的影响,并结合反事实推理(counterfactual reasoning)获得不受上下文偏差干扰的总直接效应(Total Direct Effect, TDE)。值得注意的是,我们的CCD框架与现有统计模型正交,因此可灵活迁移至各类主流网络架构中。在多个多标签分类数据集上的大量实验表明,所提模型在性能上显著优于现有最先进方法,充分验证了其有效性与通用性。

基于因果机制的视觉识别上下文去偏方法 | 最新论文 | HyperAI超神经