초록
최근 5년 동안, 합성곱 신경망(CNNs)은 자율 주행 및 증강 현실 등 다양한 응용 분야의 핵심 작업 중 하나인 의미 분할에서 뛰어난 성과를 거두었습니다. 그러나 CNNs를 훈련시키기 위해서는 상당한 양의 데이터가 필요하며, 이는 수집하기 어렵고 주석화하는 데 많은 노동력을 필요로 합니다. 최근 컴퓨터 그래픽스의 발전으로 인해 컴퓨터 생성 주석을 사용한 사진처럼 실제적인 합성 이미지를 통해 CNNs를 훈련시키는 것이 가능해졌습니다. 그럼에도 불구하고, 실제 이미지와 합성 데이터 간의 도메인 불일치는 모델의 성능을 저해합니다. 따라서 우리는 도시 장면 의미 분할에서 도메인 간 차이를 최소화하기 위한 교육 과정 스타일 학습 접근법을 제안합니다. 이 접근법은 목표 도메인에 대한 필수적인 특성을 추론하기 위해 먼저 쉬운 작업들을 해결합니다. 특히, 첫 번째 작업은 이미지 전체에 대한 전역 라벨 분포와 랜드마크 슈퍼픽셀에 대한 국소 분포를 학습하는 것입니다. 이러한 특성들은 도시 장면의 이미지가 강한 고유성을 가지고 있기 때문에 추정하기 쉽습니다(예: 건물, 거리, 자동차 등의 크기와 공간적 관계). 그 다음, 우리는 목표 도메인에서 이러한 추론된 특성을 따르도록 예측을 규제하면서 분할 네트워크를 훈련시킵니다. 실험 결과, 우리의 방법은 두 개의 데이터셋과 두 개의 백본 네트워크에서 기준선보다 우수한 성능을 보였습니다. 또한, 우리의 접근법에 대한 광범위한 아블레이션 연구도 보고하고 있습니다.