2달 전

확산 모델에서 개선된 수렴을 위한 보상 샘플링

Lu, Hui ; Salah, Albert ali ; Poppe, Ronald
확산 모델에서 개선된 수렴을 위한 보상 샘플링
초록

확산 모델은 이미지 생성에서 뛰어난 품질을 달성하지만, 그 대가를 치르기도 합니다. 반복적인 노이즈 제거는 고충실도 이미지를 생성하기 위해 많은 시간 단계가 필요합니다. 우리는 노이즈 제거 과정이 초기에 목표 데이터의 부정확한 재구성으로 인해 누적되는 재구성 오류로 인해 결정적으로 제한된다고 주장합니다. 이는 더 낮은 품질의 출력과 더 느린 수렴을 초래합니다. 이러한 문제를 해결하기 위해, 우리는 생성을 목표 영역으로 안내하는 보상 샘플링을 제안합니다. U-Net으로 구현된 보상 항을 도입하여, 학습 중에는 무시할 만한 계산 부담을 추가하며, 추론 시에도 선택적으로 적용할 수 있습니다. 우리의 접근 방식은 유연하며, CIFAR-10, CelebA, CelebA-HQ, FFHQ-256, FSG 벤치마크 데이터셋을 사용하여 조건부 생성, 얼굴 inpainting(인페인팅), 그리고 얼굴 de-occlusion(디옥클루전)에 대한 응용성을 시연하였습니다. 우리의 접근 방식은 이미지 품질 측면에서 일관되게 최고 수준의 결과를 제공하며, 학습 중 노이즈 제거 과정의 수렴 속도를 최대 10배 가속화하였습니다.

확산 모델에서 개선된 수렴을 위한 보상 샘플링 | 최신 연구 논문 | HyperAI초신경