11일 전

InfinityGAN: 무한 픽셀 이미지 합성으로의 도전

Chieh Hubert Lin, Hsin-Ying Lee, Yen-Chi Cheng, Sergey Tulyakov, Ming-Hsuan Yang
InfinityGAN: 무한 픽셀 이미지 합성으로의 도전
초록

우리는 임의의 크기 이미지 생성을 위한 새로운 프레임워크인 InfinityGAN을 제안한다. 이 작업은 몇 가지 핵심적인 도전 과제와 관련되어 있다. 첫째, 기존 모델을 임의의 크기로 확장하는 것은 계산 자원과 대규모 시야각을 가진 학습 데이터의 가용성 측면에서 자원 제약이 크다. InfinityGAN은 낮은 계산 자원으로도 매끄럽게 패치 단위로 학습 및 추론을 수행한다. 둘째, 대규모 이미지는 국소적·전역적으로 일관성 있어야 하며, 반복적인 패턴을 피하고 현실감 있어야 한다. 이를 해결하기 위해 InfinityGAN은 전역적인 외관, 국소적 구조, 질감을 분리한다. 이러한 설정을 통해 기존에는 달성할 수 없었던 공간적 크기와 세부 사항 수준의 이미지를 생성할 수 있다. 실험적 평가를 통해 InfinityGAN이 기준 모델 대비 우수한 현실감을 갖춘 이미지를 생성하며, 병렬 추론이 가능함을 입증하였다. 마지막으로, 본 연구는 공간적 스타일 융합, 다중 모달 아웃페인팅, 이미지 인터폴레이션 등의 새로운 응용 사례를 제시한다. 모든 응용은 임의의 입력 및 출력 크기로 작동 가능하다. 논문의 전체 버전은 다음 링크에서 확인할 수 있다: https://openreview.net/forum?id=ufGMqIM0a4b.

InfinityGAN: 무한 픽셀 이미지 합성으로의 도전 | 최신 연구 논문 | HyperAI초신경