8일 전

베이지안 이미지 재구성 기법: 딥 생성 모델을 활용한 접근

Razvan V Marinescu, Daniel Moyer, Polina Golland
베이지안 이미지 재구성 기법: 딥 생성 모델을 활용한 접근
초록

기계 학습 모델은 일반적으로 쌍(입력, 출력) 데이터를 사용하여 엔드투엔드 및 감독 학습 방식으로 훈련된다. 최근의 초해상도(super-resolution) 기법들 역시 저해상도와 고해상도 이미지 쌍을 기반으로 훈련된다. 그러나 이러한 엔드투엔드 접근법은 입력 데이터의 분포가 변화할 때(예: 야간 이미지 vs 주간 이미지) 또는 관련 잠재 변수가 변화할 때(예: 카메라 흐림, 손의 움직임 등)마다 다시 훈련이 필요하다. 본 연구에서는 최신의 고성능 생성 모델(이 경우 StyleGAN2)을 활용하여 강력한 이미지 사전 지식(image prior)을 구축하고, 이를 통해 다양한 후속 재구성 작업에 베이즈 정리(Bayes' theorem)를 적용할 수 있도록 한다. 제안하는 방법인 생성 모델을 통한 베이지안 재구성(Bayesian Reconstruction through Generative Models, BRGM)은 단일 사전 훈련된 생성자 모델을 사용하여, 서로 다른 전방 오염 모델(forward corruption models)과 결합함으로써 초해상도 및 인페인팅(in-painting)과 같은 다양한 이미지 복원 작업을 수행한다. 생성자 모델의 가중치는 고정한 채로, 재구성된 이미지를 생성한 입력 잠재 벡터(input latent vector)에 대해 베이지안 최대사후확률(MAP) 추정을 통해 이미지를 재구성한다. 또한, 잠재 벡터에 대한 사후 분포를 근사하기 위해 변분 추론(variational inference)을 활용하여 여러 해를 샘플링한다. 제안한 BRGM은 세 가지 크기와 다양성이 큰 데이터셋에서 검증되었으며, 각각 (i) Flick Faces High Quality 데이터셋의 60,000장 이미지, (ii) MIMIC-III 데이터셋의 240,000장 흉부 X선 영상, (iii) 7,329건의 스캔을 포함하는 5개의 뇌 MRI 데이터셋 복합 집합이다. 모든 세 데이터셋에서 특별한 데이터셋 맞춤형 하이퍼파라미터 조정 없이도, 초해상도 및 인페인팅 작업에서 현재의 작업 전용 최신 기술(SOTA) 수준의 성능을 달성하였으며, 더 높은 일반화 능력을 보이고, 추가적인 훈련이 필요하지 않다. 본 연구의 소스 코드와 사전 훈련된 모델은 다음 웹사이트에서 공개되어 있다: https://razvanmarinescu.github.io/brgm/.

베이지안 이미지 재구성 기법: 딥 생성 모델을 활용한 접근 | 최신 연구 논문 | HyperAI초신경