VBLC: 극한 환경 하에서 도메인 적응형 세분화를 위한 시야 확보 및 로짓 제약 학습

일반적인 시각 조건에서 학습된 모델을 악조건 하에서의 타겟 도메인에 일반화하는 것은 실용적 시스템에서 매우 도전적인 과제이다. 기존의 대표적인 해결 방안은 명확한 조건과 악조건 이미지 간의 도메인 간격을 줄여 타겟 도메인에서 만족스러운 예측을 가능하게 하는 것이다. 그러나 기존의 방법들은 일반 조건에서 촬영된 동일한 장면의 추가 참조 이미지에 크게 의존하는 경우가 많다. 그러나 현실에서는 이러한 참조 이미지를 확보하는 것이 매우 어렵다. 게다가 대부분의 기존 방법들은 야간이나 안개 같은 단일 악조건에만 초점을 맞추고 있어, 다양한 악조건이 복합적으로 나타나는 상황에서는 모델의 유연성과 일반화 능력이 크게 저하된다. 이러한 한계를 극복하기 위해 우리는 정상 조건에서 악조건으로의 적응 성능을 향상시키기 위해 특화된 새로운 프레임워크인 Visibility Boosting and Logit-Constraint learning (VBLC)을 제안한다. VBLC는 참조 이미지를 제거하고, 복합적인 악조건을 동시에 처리할 수 있는 잠재력을 탐구한다. 구체적으로, 먼저 이미지 수준의 특정 사전 지식을 활용하여 타겟 이미지의 시인성을 동적으로 향상시키는 시인성 향상 모듈(visibility boost module)을 제안한다. 또한, 자기 학습(self-training) 방법에서 전통적인 교차 엔트로피 손실 함수가 초과 확신(overconfidence) 문제를 야기함을 지적하고, 이를 해결하기 위해 훈련 중 로짓(logit) 출력에 제약을 가하는 로짓-제약 학습(logit-constraint learning) 기법을 설계하였다. 이는 해당 도전적인 과제를 해결하는 데 있어 새로운 관점으로 평가될 수 있다. 두 가지 정상 조건에서 악조건으로의 도메인 적응 벤치마크, 즉 Cityscapes → ACDC 및 Cityscapes → FoggyCityscapes + RainCityscapes에서 실시한 광범위한 실험을 통해 VBLC의 효과성을 입증하였으며, 기존 최고 성능을 다시 정의하는 새로운 최신 기준(SOTA)을 수립하였다. 코드는 https://github.com/BIT-DA/VBLC 에서 공개되어 있다.