2달 전

잠재 공간과 이미지 공간을 맞추어 연결할 수 없는 것을 연결하다

Skorokhodov, Ivan ; Sotnikov, Grigorii ; Elhoseiny, Mohamed
잠재 공간과 이미지 공간을 맞추어 연결할 수 없는 것을 연결하다
초록

이 연구에서는 다양한이고 복잡한 내용을 가진 무한한 고해상도 이미지를 생성하는 방법을 개발하였습니다. 이 방법은 이미지 공간과 잠재 공간에서 동기화된 보간을 사용하는 완벽하게 등변성(equivariant) 생성자에 기반합니다. 샘플링된 잠재 코드는 좌표 격자 위에 위치하며, 각 픽셀은 인근 스타일 코드의 보간으로 계산됩니다. 우리는 이러한 설정에서 작동할 수 있도록 AdaIN 메커니즘을 수정하고, 생성자를 적대적(adversarial) 환경에서 훈련시켜 두 잠재 벡터 사이에 위치한 이미지를 생성하도록 하였습니다. 테스트 시에는 이 방법을 통해 복잡하고 다양한 무한 이미지를 생성할 수 있으며, 서로 관련이 없는 두 장면을 하나의 임의로 큰 파노라마로 연결할 수 있습니다.또한, 우리는 \lhqsize 크기의 고해상도 자연 풍경 데이터셋인 LHQ를 소개합니다. 우리는 이 접근법을 LHQ, LSUN Tower 및 LSUN Bridge 데이터셋에서 테스트하였으며, 생성된 무한 이미지의 품질과 다양성 면에서 기존 기준 모델보다 최소 4배 이상 우수한 성능을 보였습니다. 프로젝트 페이지는 https://universome.github.io/alis 에서 확인하실 수 있습니다.

잠재 공간과 이미지 공간을 맞추어 연결할 수 없는 것을 연결하다 | 최신 연구 논문 | HyperAI초신경