17일 전

대안적 연속 이미지 생성

Ivan Skorokhodov, Savva Ignatyev, Mohamed Elhoseiny
대안적 연속 이미지 생성
초록

기존의 대부분의 학습 시스템에서는 이미지를 일반적으로 2차원 픽셀 배열로 간주한다. 그러나 최근 인기를 끌고 있는 다른 패러다임에서는 2차원 이미지를 암묵적 신경 표현(implicit neural representation, INR)으로 표현한다. INR은 주어진 (x, y) 좌표에 대해 RGB 픽셀 값을 예측하는 다층 퍼셉트론(MLP)으로 구성된다. 본 논문에서는 INR 기반 이미지 디코더를 구축하기 위한 두 가지 새로운 아키텍처 기법, 즉 분해형 곱셈 조절(multiplicative modulation)과 다중 해상도(INR)를 제안하고, 이를 활용해 최신 기술 수준의 연속형 이미지 GAN을 구축한다. 기존의 INR을 이미지 생성에 적용하려는 시도는 MNIST와 같은 단순한 데이터셋에 한정되어 있으며, 복잡한 실제 세계 데이터에는 확장되지 못했다. 본 연구에서 제안하는 INR-GAN 아키텍처는 연속형 이미지 생성기의 성능을 수 배 이상 향상시켜, 연속형 이미지 GAN과 픽셀 기반 GAN 간의 성능 격차를 크게 줄였다. 또한, INR 기반 디코더가 지닌 몇 가지 흥미로운 특성도 탐구한다. 예를 들어, 즉시 초해상도(image superresolution) 가능, 의미 있는 이미지 공간 내 보간(interpolation), 저해상도 이미지의 가속화된 추론, 이미지 경계를 벗어난 영역으로의 외삽(extrapolation) 능력, 강한 기하학적 사전 지식(geometric prior) 등이 있다. 프로젝트 페이지는 https://universome.github.io/inr-gan 에 위치해 있다.

대안적 연속 이미지 생성 | 최신 연구 논문 | HyperAI초신경