FREDOM: 의미 있는 장면 이해를 위한 공정성 기반 도메인 적응 방법

최근 몇 년간 의미적 장면 세분화(Semantic Scene Segmentation) 분야에서 도메인 적응(Domain Adaptation)은 놀라운 성과를 보여왔으나, 도메인 적응 과정에서 발생할 수 있는 공정성(fairness) 문제는 여전히 명확히 정의되거나 해결되지 못한 채 남아 있다. 더불어, 자율 주행과 같은 인간 중심의 실제 응용 분야에 세분화 모델을 도입할 때 공정성은 가장 핵심적인 요소 중 하나이다. 왜냐하면 불공정한 예측 결과는 인간의 안전에 직접적인 영향을 미칠 수 있기 때문이다. 본 논문에서는 의미적 장면 세분화를 위한 새로운 공정성 도메인 적응(Fairness Domain Adaptation, FREDOM) 방법을 제안한다. 특히, 제안된 공정성 목적 함수를 기반으로 클래스 분포에 대한 공정한 처리를 고려한 새로운 적응 프레임워크를 도입한다. 또한, 구조적 종속성의 일반적인 모델링을 위해 새로운 조건부 구조 제약(conditional structural constraint)을 도입하여 예측된 세분화 결과의 일관성을 강제한다. 제안한 조건부 구조 네트워크(Conditional Structure Network)를 통해 자기 주의(self-attention) 메커니즘이 세분화의 구조적 정보를 충분히 모델링할 수 있게 되었다. 제거 실험(Ablation Study)을 통해 제안된 방법이 세분화 모델의 성능 향상과 예측 결과의 공정성 향상 측면에서 우수한 성능을 보임을 확인하였다. 두 가지 표준 벤치마크(SYNTHIA → Cityscapes 및 GTA5 → Cityscapes)에서의 실험 결과를 통해 본 방법이 최첨단(State-of-the-Art, SOTA) 성능을 달성함을 입증하였다.