17일 전
백그라운드 매트팅: 세상은 당신의 그린스크린이다
Soumyadip Sengupta, Vivek Jayaram, Brian Curless, Steve Seitz, Ira Kemelmacher-Shlizerman

초록
일반적인 환경에서 핸드헬드 카메라로 촬영한 사진이나 동영상을 이용하여 사람의 매트(각 픽셀별 전경 색상 및 알파 값)를 생성하는 방법을 제안한다. 기존의 대부분의 매트팅 방법은 녹색 스크린 배경이나 수작업으로 생성한 트리맵(trimap)이 필요하여 좋은 매트를 생성할 수 있었다. 최근 자동화되고 트리맵이 필요 없는 방법들이 등장하고 있으나, 그 품질은 여전히 기존 방법들과 비교해 떨어진다. 본 연구에서는 트리맵 없이 매트를 생성하는 접근법을 제안하며, 사용자가 촬영 시점에 주체가 없는 배경만을 추가로 촬영하도록 요청한다. 이 과정은 소량의 사전 계획만 필요하지만, 트리맵을 수작업으로 생성하는 것보다 훨씬 시간이 적게 소요된다. 우리는 적대적 손실(adversarial loss)을 사용하여 딥 네트워크를 학습시켜 매트를 예측한다. 먼저, 합성 컴포지트를 사용한 정답 데이터에 기반하여 감독 손실을 이용해 매트팅 네트워크를 학습한다. 이후, 라벨링이 없는 실제 이미지에 대한 도메인 간 차이를 보완하기 위해, 첫 번째 네트워크와 복합 이미지의 품질을 평가하는 디스커리미네이터(discriminator)를 기반으로 한 지도 학습을 통해 다른 매트팅 네트워크를 추가로 학습시킨다. 다양한 사진과 동영상에 대해 실험 결과를 제시하며, 기존 최고 수준의 방법보다 상당한 성능 향상을 보여준다.