시각 인식을 위한 인과 메커니즘을 활용한 맥락 기반 편향 제거

시각 세계에서 흔히 나타나는 문제 중 하나인 맥락 편향(Contextual Bias)은 객체 자체가 아니라 공존하는 맥락에 기반하여 인식이 이루어지는 현상을 의미하며, 다중 레이블 작업에서는 여러 타깃이 존재하고 위치 정보가 부재함에 따라 이 문제의 영향이 더욱 심각해진다. 일부 연구들은 이 문제를 해결하기 위해 노력해왔지만, 맥락 편향의 표현을 정확히 확보하는 것이 어렵기 때문에 맥락의 부정적 영향을 제거하는 것은 여전히 도전 과제이다. 본 논문에서는 인과 추론(Causal Inference)을 활용하여 맥락 편향을 완화하는 간단하면서도 효과적인 프레임워크를 제안한다. 먼저, 객체 표현, 맥락, 예측 간의 인과 관계를 명확히 하는 구조적 인과 모델(Structural Causal Model, SCM)을 제시한다. 그 후, 특정 인스턴스의 직접 효과(Direct Effect)를 추구하기 위한 새로운 인과적 맥락 편향 제거(Causal Context Debiasing, CCD) 모듈을 개발한다. 구체적으로, 교란 변수(confounder)의 영향을 제거하기 위해 인과 개입(Causal Intervention)을 도입하고, 반사적 추론(Counterfactual Reasoning)을 통해 맥락 편향이 없는 전반적 직접 효과(Total Direct Effect, TDE)를 도출한다. 본 CCD 프레임워크는 기존의 통계 모델과 수직적(orthogonal) 관계를 가지므로, 다른 어떤 백본 모델에도 쉽게 적용 가능하다. 여러 다중 레이블 분류 데이터셋에서 수행된 광범위한 실험 결과는 제안한 모델이 기존 최첨단 기법들보다 우수함을 입증한다.