2달 전

불량 날씨 조건에서 패치 기반 노이즈 제거 확산 모델을 이용한 시각 복원

Ozan Özdenizci; Robert Legenstein
불량 날씨 조건에서 패치 기반 노이즈 제거 확산 모델을 이용한 시각 복원
초록

불리한 날씨 조건에서의 이미지 복원은 다양한 컴퓨터 비전 응용 분야에서 중요한 관심사가 되어 왔습니다. 최근 성공적인 방법들은 비전 트랜스포머(vision transformers)와 같은 딥 뉴럴 네트워크 구조 설계의 현재 발전에 의존하고 있습니다. 최신 조건부 생성 모델에서 달성된 진보를 바탕으로, 우리는 노이즈 제거 확률 모델(denoising diffusion probabilistic models)을 기반으로 하는 새로운 패치 기반 이미지 복원 알고리즘을 제시합니다. 우리의 패치 기반 확산 모델링 접근 방식은 추론 시 중복 패치 간에 부드러운 노이즈 추정치(smoothed noise estimates)를 사용하여 안내된 노이즈 제거 프로세스(guided denoising process)를 통해 크기와 상관없이 이미지 복원(size-agnostic image restoration)을 가능하게 합니다. 우리는 이 모델을 눈 제거(image desnowing), 비와 안개 제거(combined deraining and dehazing), 그리고 빗방울 제거(raindrop removal)를 위한 벤치마크 데이터셋에서 경험적으로 평가하였습니다. 실험 결과, 우리의 접근 방식이 날씨 특화 및 다중 날씨 이미지 복원(multi-weather image restoration) 모두에서 최고 수준의 성능(state-of-the-art performances)을 달성하며, 실제 테스트 이미지(real-world test images)에 대한 강력한 일반화 능력을 보여주었습니다.

불량 날씨 조건에서 패치 기반 노이즈 제거 확산 모델을 이용한 시각 복원 | 최신 연구 논문 | HyperAI초신경