편차를 활용한 데이터 증강 및 일반적인 다중모달 데이터 학습 방법을 통한 편차 제거

컴퓨터 비전의 주요 과제 중 하나는 변화하는 환경에서 발생하는 색상 편차에 적응해야 한다는 점이다. 따라서 색상 편차가 예측에 미치는 부정적 영향을 최소화하는 것은 비전 과제의 핵심 목표 중 하나이다. 기존의 해결 방안은 입력 변동에 대한 불변성(invariance)을 향상시키기 위해 생성 모델(generative models)을 활용하여 훈련 데이터를 증강하는 데 집중하고 있다. 그러나 이러한 방법들은 종종 새로운 노이즈를 도입하게 되어 생성된 데이터로부터 얻는 성능 향상에 한계를 초래한다. 이를 해결하기 위해 본 논문은 ‘편차를 편차로 제거한다’는 전략을 제안하며, 이를 Random Color Dropout(RCD)이라 명명한다. 본 연구의 가정은, 쿼리 이미지와 갤러리 이미지 사이에 색상 편차가 존재할 경우, 색상 정보를 무시함으로써 일부 예시에 대해 검색 결과가 향상될 수 있다는 것이다. 구체적으로, RCD 전략은 훈련 데이터에서 일부 색상 정보를 드롭아웃(dropping out)함으로써 신경망 내에서 색상 특징과 색상에 무관한 특징 간의 가중치를 균형 있게 조절함으로써 색상 편차의 영향을 완화한다. 제안된 RCD는 기존의 ReID 모델들과 함께 사용 가능하며, 학습 전략을 변경하지 않고도 다양한 기존 모델에 통합할 수 있으며, 객체 탐지와 같은 다른 컴퓨터 비전 분야에도 적용 가능하다. Market1501, DukeMTMC, MSMT17과 같은 세 가지 대규모 일반 데이터셋을 포함한 여러 ReID 베이스라인에 대한 실험을 통해 본 방법의 효과성이 입증되었다. 도메인 간 실험에서는 이 전략이 도메인 갭(domain gap)을 효과적으로 완화함을 보였다. 또한 RCD의 작동 메커니즘을 이해하기 위해 분류 관점에서 이 전략의 효과성을 분석한 결과, 도메인 변동이 큰 시각 작업에서는 전체 색상 정보를 활용하는 것보다 다수의 색상 정보를 활용하는 것이 더 효과적일 수 있음을 시사한다.