17일 전

알리아-Free 생성적 적대망GAN

Tero Karras, Miika Aittala, Samuli Laine, Erik Härkönen, Janne Hellsten, Jaakko Lehtinen, Timo Aila
알리아-Free 생성적 적대망GAN
초록

우리는 전형적인 생성적 적대 신경망(generative adversarial networks)의 계층적 합성 구조에도 불구하고, 그 합성 과정이 절대적인 픽셀 좌표에 과도하게 의존하고 있음을 관찰한다. 이는 예를 들어, 세부 정보가 묘사된 객체의 표면이 아닌 이미지 좌표에 고정되어 있는 듯한 현상으로 나타난다. 이 현상의 근본 원인은 생성자 네트워크 내에서 애초부터 신호 처리에 주의가 부족해 발생하는 앨리어싱(aliasing)에 있음을 규명하였다. 네트워크 내 모든 신호를 연속적(signal)으로 해석함으로써, 불필요한 정보가 계층적 합성 과정으로 유입되는 것을 보장할 수 있는 일반적으로 적용 가능한 소규모 아키텍처 수정을 도출하였다. 이러한 수정을 거친 네트워크는 StyleGAN2와 동일한 FID(Fréchet Inception Distance) 성능을 달성하지만, 내부 표현 방식에서는 극적인 차이를 보이며, 서브픽셀 단위에서도 완전히 평행이동과 회전에 대해 불변(invariant)한 성질을 갖는다. 본 연구의 결과는 비디오 및 애니메이션에 더 적합한 생성 모델의 개발을 위한 길을 열어줄 것으로 기대된다.