8일 전

안개 낀 장면을 위한 일반화된 세그멘테이션 학습을 위한 양방향 웨이블릿 안내

{Theo Gevers, ShaoDi You, Qi Bi}
안개 낀 장면을 위한 일반화된 세그멘테이션 학습을 위한 양방향 웨이블릿 안내
초록

안개 조건에서 잘 일반화될 수 있는 장면 의미학을 학습하는 것은 자율 주행과 같은 안전에 핵심적인 응용 분야에서 매우 중요하다. 기존의 방법들은 교육 과정에서 명확한 이미지와 안개가 낀 이미지 모두를 레이블링한 데이터를 필요로 하여 교육 과정 기반 도메인 적응 모델을 훈련한다. 그러나 이러한 방법들은 훈련 단계에서 이미 보았던 특정 안개 도메인에만 일반화 가능하며, 도시 환경의 스타일과 안개의 스타일 측면에서 안개 도메인이 매우 다양하게 변할 수 있다. 본 논문에서는 훈련 단계에서 어떤 안개 이미지도 포함하지 않는 도메인 일반화 설정 하에서, 안개가 낀 장면에 대해 잘 일반화되는 장면 세그멘테이션을 학습하는 방법을 제안한다. 이는 어떤 새로운 안개 장면에도 일반화될 수 있는 능력을 갖는다. 우리는 이상적인 세그멘테이션 모델이 안개 환경에 잘 일반화되기 위해서는 콘텐츠 강화, 도시 환경 스타일의 상관관계 제거, 안개 스타일의 상관관계 제거를 동시에 수행해야 한다고 주장한다. 콘텐츠(예: 장면 의미)는 저주파 특징에 더 집중되어 있는 반면, 도시 환경 스타일과 안개 스타일은 고주파 특징에 더 많이 영향을 받는다. 따라서 위의 세 가지 목표를 분할-정복 방식으로 달성할 수 있는 새로운 이중 방향 웨이블릿 안내(Bi-directional Wavelet Guidance, BWG) 메커니즘을 제안한다. 하르 웨이블릿 변환을 활용하여 저주파 성분은 콘텐츠 강화를 위한 자기 주의(Self-attention)에 집중시키고, 고주파 성분은 스타일과 안개의 상관관계 제거를 위해 스타일 및 안개 자기 주의에 전달한다. 이 메커니즘은 학습 가능한 방식으로 기존의 마스크 수준 Transformer 기반 세그멘테이션 파이프라인에 통합된다. 다양한 흥미로운 설정 하에서 네 개의 대규모 안개 장면 세그멘테이션 데이터셋을 대상으로 광범위한 실험을 수행하였다. 제안한 방법은 기존의 직접 감독 기반, 교육 과정 기반 도메인 적응, 도메인 일반화 세그멘테이션 방법들보다 뚜렷한 성능 향상을 보였다. 소스 코드는 https://github.com/BiQiWHU/BWG 에서 공개되어 있다.

안개 낀 장면을 위한 일반화된 세그멘테이션 학습을 위한 양방향 웨이블릿 안내 | 최신 연구 논문 | HyperAI초신경