초록
제한된 데이터 소스를 활용하여 알파 마트를 생성하는 방법을 제안한다. 우리는 포트레이트 데이터셋을 기반으로 한 새로운 트랜스포머 기반 모델(StyleMatte)을 사전 훈련한다. 이 모델을 활용해 StyleGAN3 기반 네트워크(StyleMatteGAN)에 이미지-마스크 쌍을 제공한다. 해당 네트워크는 비지도 학습 방식으로 훈련되며, 기존에 보지 못한 이미지-마스크 학습 쌍을 생성하여 다시 StyleMatte에 피드백한다. 본 연구에서는 이 반복 주기 동안 마트 풀링 네트워크의 성능이 향상됨을 입증하였으며, 인간 포트레이트 데이터셋에서는 최고 성능을 달성하고 동물 데이터셋에서는 최신 기준 수준의 성능을 기록한다. 또한 StyleMatteGAN은 고해상도이며 개인정보 보호를 고려한 알파 마트를 포함한 포트레이트를 제공하여 다양한 이미지 합성 작업에 적합하다. 코드는 https://github.com/chroneus/stylematte 에서 공개되어 있다.