CleanDIFT: 노이즈 없는 확산 특성

대규모 사전 훈련 확산 모델의 내부 특징이 최근 다양한 하류 작업을 위한 강력한 의미 기술자로 자리 잡았습니다. 이러한 특징을 사용하는 연구들은 일반적으로 이미지에 잡음을 추가한 후 모델을 통과시켜 의미 특징을 얻어야 합니다. 이는 잡음이 거의 없는 이미지를 제공할 때 모델이 가장 유용한 특징을 제공하지 않기 때문입니다. 우리는 이 잡음이 이러한 특징의 유용성에 결정적인 영향을 미치며, 다른 무작위 잡음으로 앙상블하는 것만으로는 해결할 수 없다는 것을 보여주었습니다. 이 문제를 해결하기 위해, 우리는 경량화된 비지도 세부 조정 방법을 소개합니다. 이 방법은 확산 백본이 고품질의 잡음 없는 의미 특징을 제공하도록 합니다. 우리는 이러한 특징들이 다양한 추출 설정과 하류 작업에서 이전의 확산 특징들보다 크게 우수함을 입증하였으며, 앙상블 기반 방법보다도 훨씬 낮은 비용으로 더 나은 성능을 제공합니다.