14일 전

MLSL: 공간적으로 독립적이고 의미적으로 일관된 레이블링을 통한 도메인 적응을 위한 다수준 자기지도 학습

Javed Iqbal, Mohsen Ali
MLSL: 공간적으로 독립적이고 의미적으로 일관된 레이블링을 통한 도메인 적응을 위한 다수준 자기지도 학습
초록

최근의 대부분의 딥 세마틱 세그멘테이션 알고리즘은 컨볼루션 신경망 기반의 강력한 계층적 표현 모델을 활용하고 있음에도 불구하고 큰 일반화 오차를 겪는다. 이는 훈련 데이터의 제한성과 훈련 도메인 및 테스트 도메인 데이터셋 간의 큰 분포 차이에서 기인할 수 있다. 본 논문에서는 세마틱 세그멘테이션을 위한 다수준(self-supervised) 도메인 적응 모델을 제안한다. 객체(또는 맥락을 고려할 경우 대부분의 스태프(stuff))가 위치에 관계없이 일관된 레이블을 가져야 한다는 아이디어를 활용하여, 기본 모델을 사용해 여러 하위 이미지를 세그멘테이션하고, 이를 집계하는 전략을 설계함으로써 공간적으로 독립적이면서도 의미적으로 일관된(Spatially Independent and Semantically Consistent, SISC) 가짜 레이블을 생성한다. 또한, 잠재 공간에서 원천 도메인과 타겟 도메인 간의 전반적인 맥락 유사성을 포착함으로써 이미지 수준의 가짜 약한 레이블(Pseudo Weak Labels, PWL)을 계산하여 도메인 적응을 안내한다. 이는 이미지 내 특정 도메인 카테고리(예: 작은 객체)의 픽셀 수가 전체 이미지에 비해 매우 적은 경우에도 잠재 공간이 효과적으로 표현을 학습할 수 있도록 도와준다. 제안하는 다수준 자기지도 학습(Multi-level Self-supervised Learning, MLSL)은 기존의 최첨단(self-supervised 또는 적대적 학습) 알고리즘을 모두 상회한다. 특히, 모든 설정을 동일하게 유지하고 MLSL을 적용했을 때, GTA-V에서 Cityscapes로의 도메인 적응에서 기존 최첨단 방법 대비 mIoU 5.1% 향상, SYNTHIA에서 Cityscapes로의 적응에서는 4.3% 향상 효과를 달성하였다.

MLSL: 공간적으로 독립적이고 의미적으로 일관된 레이블링을 통한 도메인 적응을 위한 다수준 자기지도 학습 | 최신 연구 논문 | HyperAI초신경