합성 및 실제 데이터를 활용한 의미론적 안개 장면 이해를 위한 교육과정 모델 적응

이 연구는 안개 환경에서의 의미적 장면 이해 문제를 다룹니다. 의미적 장면 이해 분야에서는 상당한 진전이 이루어졌지만, 주로 맑은 날씨 조건下的 장면에 집중되어 있습니다. 야외 응용 프로그램을 위해 안개와 같은 열악한 날씨 조건에서 의미적 세그멘테이션 방법을 확장하는 것이 중요합니다. 본 논문에서는 Curriculum Model Adaptation (CMAda)라는 새로운 방법을 제안합니다. 이 방법은 라벨링된 합성 안개 데이터와 라벨링되지 않은 실제 안개 데이터를 모두 사용하여, 여러 단계를 거쳐 모델을 가벼운 합성 안개에서 진한 실제 안개까지 점진적으로 적응시키는 것을 목표로 합니다. 이 방법은 중등도의 열악한 조건(가벼운 안개)에서의 의미적 세그멘테이션 결과가 매우 열악한 조건(진한 안개)에서 동일한 문제를 해결하기 위해 활용될 수 있다는 사실에 기반하고 있습니다. CMAda는 다른 열악한 조건에도 확장 가능하며, 합성 데이터와 라벨링되지 않은 실제 데이터를 활용해 학습하는 새로운 패러다임을 제공합니다.또한, 본 논문에서는 다음의 세 가지 독립적인 주요 기여점을 제시합니다: 1) 의미 입력을 사용하여 실제 맑은 날씨 장면에 합성 안개를 추가하는 새로운 방법; 2) 새로운 안개 밀도 추정기; 3) 깊이 정보를 사용하지 않고 실제 안개 장면의 안개를 진하게 만드는 새로운 방법; 그리고 4) 진한 안개 하에서 40장의 픽셀 단위 의미 주석이 포함된 3808장의 실제 안개 이미지를 포함하는 Foggy Zurich 데이터셋입니다. 실험 결과, 1) 우리의 안개 시뮬레이션과 안개 밀도 추정기가 의미적 안개 장면 이해(SFSU) 작업에서 최신 연구 대비 우수한 성능을 보였으며, 2) CMAda가 SFSU 작업에서 최신 모델들의 성능을 크게 향상시키는데, 우리의 합성 및 실제 안개 데이터로부터 혜택을 받았습니다. 데이터셋과 코드는 프로젝트 웹사이트에서 이용할 수 있습니다.注：在翻译中，为了符合韩语的表达习惯，我将“条件下的”调整为“조건下”，并将一些句子进行了适当的结构调整以提高流畅度。