2달 전

ProCST: 진보적인 순환 스타일 전송을 활용한 의미 분할 향상

Shahaf Ettedgui; Shady Abu-Hussein; Raja Giryes
ProCST: 진보적인 순환 스타일 전송을 활용한 의미 분할 향상
초록

신규 데이터를 사용하여 실제 세계 데이터에서 우수한 성능을 보이는 신경망을 훈련시키는 것은 비용이 많이 드는 데이터 주석의 필요성을 줄일 수 있으므로 중요한 작업입니다. 그러나, 신규 데이터와 실제 세계 데이터 사이에는 도메인 간극이 존재합니다. 이 간극을 줄이는 작업, 즉 도메인 적응은 최근 몇 년 동안 널리 연구되어 왔습니다. 소스(신규) 데이터와 타겟(실제) 데이터 사이의 도메인 간극을 직접적으로 조정하는 것은 어려운 문제입니다. 본 연구에서는 이미지 데이터에 대한 도메인 적응 기술을 개선하기 위한 새로운 두 단계 프레임워크를 제안합니다.첫 번째 단계에서는 소스 도메인에서 타겟 도메인으로 이미지를 변환하도록 다중 스케일 신경망을 점진적으로 훈련시킵니다. 이 새로 변환된 데이터를 "타겟 내의 소스" (Source in Target, SiT)라고 표기합니다. 그런 다음, 생성된 SiT 데이터를 표준 UDA 접근법의 입력으로 삽입합니다. 이 새로운 데이터는 원하는 타겟 도메인과의 도메인 간극이 줄어들어, 적용된 UDA 접근법이 더 나아가 간극을 좁히는 데 도움을 줍니다.우리는 다른 선도적인 UDA 및 이미지-이미지 변환 기술들과 비교하여 본 방법의 효과성을 강조합니다. 또한, 세 가지 최신 UDA 방법(GTA5에서 Cityscapes로, Synthia에서 Cityscapes로) 중 HRDA, DAFormer 및 ProDA를 사용하여 우리의 프레임워크가 어떻게 개선되는지를 시연합니다.