합성에서 실제 세분화로의 전이를 위한 전역 및 국부 텍스처 랜덤화

시맨틱 세그멘테이션은 이미지의 각 픽셀을 해당 레이블에 할당하는 핵심적인 이미지 이해 작업이다. 실제 이미지에 대한 픽셀 단위 레이블링은 정확하지만 시간과 노동력이 많이 소요되므로, 실용적인 응용에서는 많은 연구들이 실제 세계 이미지의 시맨틱 세그멘테이션을 위해 합성 이미지를 활용하여 모델을 학습하는 방식을 채택한다. 이를 합성에서 실세계로의 시맨틱 세그멘테이션(Synthetic-to-Real Semantic Segmentation, SRSS)이라 한다. 그러나 합성 데이터에서 학습된 딥 컨볼루션 신경망(DCNN)은 타겟 실세계 데이터로의 일반화 능력이 떨어질 수 있다. 본 연구에서는 도메인 일반화 기반 SRSS를 위한 간단하면서도 효과적인 두 가지 텍스처 무작위화 기법, 즉 전역 텍스처 무작위화(Global Texture Randomization, GTR)와 국소 텍스처 무작위화(Local Texture Randomization, LTR)를 제안한다. GTR은 합성 이미지의 텍스처를 다양한 비현실적인 스타일로 무작위화함으로써, 네트워크가 텍스처에 의존하는 경향을 완화하고, 도메인 불변 특징을 효과적으로 학습하도록 유도한다. 또한, 본 연구에서는 텍스처 차이가 전체 이미지에 걸쳐 항상 발생하는 것은 아니며, 일부 국소 영역에서만 나타날 수 있음을 발견하였다. 이를 바탕으로, 합성 이미지의 일부 영역만을 다양한 스타일로 변형할 수 있도록 하는 LTR 기법을 추가로 제안하였다. 마지막으로, GTR과 LTR 두 기법 간의 일관성을 강화하기 위해 일관성 정규화(Consistency between GTR and LTR, CGL)를 도입하여 학습 과정에서 두 메커니즘의 조화를 도모하였다. 공개된 다섯 가지 데이터셋(GTA5, SYNTHIA, Cityscapes, BDDS, Mapillary)과 다양한 SRSS 설정(GTA5/SYNTHIA → Cityscapes/BDDS/Mapillary)에 대한 광범위한 실험 결과를 통해, 제안하는 방법이 도메인 일반화 기반 SRSS 분야에서 최신 기술보다 우수함을 입증하였다.