2달 전

GANSeg: 비지도 계층적 이미지 생성을 통한 세그멘테이션 학습

Xingzhe He; Bastian Wandt; Helge Rhodin
GANSeg: 비지도 계층적 이미지 생성을 통한 세그멘테이션 학습
초록

이미지를 그 부분으로 분할하는 것은 이미지 편집과 같은 고급 시각 작업을 위한 자주 사용되는 전처리 과정입니다. 그러나 감독 학습을 위한 마스크 주석은 비용이 많이 듭니다. 약간의 감독과 무감독 방법이 존재하지만, 이들은 여러 시점에서 얻은 이미지 쌍, 비디오 프레임, 이미지 증강 등의 비교에 의존하여 적용 범위가 제한됩니다. 이를 해결하기 위해, 우리는 잠재 마스크에 조건부로 이미지를 생성하는 GAN(Generative Adversarial Network) 기반 접근법을 제안합니다. 이 접근법은 이전 방법에서 요구되었던 완전한 또는 약한 주석을 줄여줍니다. 우리는 이러한 마스크 조건부 이미지 생성이 부분의 위치를 명시적으로 정의하는 잠재 키포인트(latent keypoints)를 계층적으로 조건부로 설정할 때 충실하게 학습될 수 있음을 보여줍니다. 마스크나 점들의 주석 없이도 이 전략은 시점 변화와 객체 위치 변화에 대한 견고성을 높여줍니다. 또한 이는 세그멘테이션 네트워크를 훈련시키기 위한 이미지-마스크 쌍을 생성할 수 있게 하며, 기존 벤치마크에서 최신 무감독 세그멘테이션 방법보다 우수한 성능을 보입니다.