초록
최근 5년 동안, 합성곱 신경망(CNNs)은 자율 주행 등 다양한 응용 분야의 핵심 작업 중 하나인 의미 분할에서 우수한 성과를 거두었습니다. 그러나 CNNs을 훈련시키기 위해서는 상당량의 데이터가 필요하며, 이는 수집하기 어렵고 주석화하는 데 많은 노동력을 필요로 합니다. 최근 컴퓨터 그래픽스의 발전으로 인해 사진처럼 사실적인 합성 이미지와 컴퓨터 생성 주석을 사용하여 CNNs을 훈련시키는 것이 가능해졌습니다. 그럼에도 불구하고, 실제 이미지와 합성 데이터 간의 도메인 불일치는 모델의 성능을 크게 저하시킵니다. 따라서 우리는 도시 경관의 의미 분할에서 도메인 간 차이를 최소화하기 위한 커리큘럼 스타일 학습 접근법을 제안합니다. 이 커리큘럼 도메인 적응 방법은 먼저 쉬운 작업을 해결하여 대상 도메인에 대한 필요한 특성을 추론합니다. 특히, 첫 번째 작업은 이미지 전체에 대한 전역 라벨 분포와 랜드마크 슈퍼픽셀에 대한 국소 분포를 학습하는 것입니다. 이러한 특성들은 도시 경관 이미지가 강한 고유성을 가지고 있기 때문에 추정하기 쉽습니다(예: 건물, 거리, 자동차 등의 크기와 공간적 관계). 그런 다음 우리는 대상 도메인에서 예측값이 이러한 추론된 특성을 따르도록 규제하면서 분할 네트워크를 훈련시킵니다. 실험 결과, 우리의 방법은 두 개의 데이터셋과 두 개의 백본 네트워크에서 기준선 방법들을 능가했습니다. 또한, 우리 접근법에 대한 광범위한 아블레이션 연구도 보고하고 있습니다.