DDMI: 도메인 독립적 잠재 확산 모델을 이용한 고품질 암시적 신경망 표현 합성

최근의 연구에서는 다양한 영역에서 임의의 연속 신호를 포착하는 암시적 신경 표현(INRs, Implicit Neural Representations)을 합성하기 위한 새로운 생성 모델 클래스를 소개하였습니다. 이러한 모델들은 도메인에 독립적인 생성 모델의 문을 열었지만, 종종 고품질 생성을 달성하지 못하는 경우가 많습니다. 우리는 기존 방법들이 INRs를 매개변수화하기 위해 신경망의 가중치를 생성하고, 고정된 위치 임베딩(PEs, Positional Embeddings)으로 네트워크를 평가한다는 점을 관찰하였습니다. 이 구조는 생성 모델의 표현력을 제한하여 저품질 INR 생성을 초래한다고 주장할 수 있습니다. 이러한 한계를 극복하기 위해, 우리는 신경망의 가중치 대신 적응형 위치 임베딩을 생성하는 도메인에 독립적인 잠재 확산 모델(DDMI, Domain-agnostic Latent Diffusion Model for INRs)을 제안합니다. 특히, 공유된 잠재 공간에서 이산 데이터와 연속 신호 함수를 원활하게 연결하는 이산-연속 공간 변분 오토인코더(D2C-VAE, Discrete-to-Continuous space Variational AutoEncoder)를 개발하였습니다. 또한, 계층적으로 분해된 PEs로 INRs를 평가하기 위한 새로운 조건부 메커니즘을 도입하여 표현력을 더욱 강화하였습니다. 2D 이미지, 3D 형태, 뉴럴 라디언스 필드(Neural Radiance Fields), 비디오 등 네 가지 모달리티와 일곱 개의 벤치마크 데이터셋을 사용한 광범위한 실험은 DDMI의 다기능성과 기존 INR 생성 모델들보다 우수한 성능을 입증하였습니다.