2달 전

계층적 조건부 흐름: 이미지 초해상도 및 이미지 리스케일링을 위한 통합 프레임워크

Liang, Jingyun ; Lugmayr, Andreas ; Zhang, Kai ; Danelljan, Martin ; Van Gool, Luc ; Timofte, Radu
계층적 조건부 흐름: 이미지 초해상도 및 이미지 리스케일링을 위한 통합 프레임워크
초록

최근 정규화 흐름(Normalizing flows)은 저수준 비전 작업에서 유망한 결과를 보여주고 있습니다. 이미지 초해상도(SR)에서는 결정론적인 매핑을 학습하는 대신 저해상도(LR) 이미지에서 다양한 사진 같은 고해상도(HR) 이미지를 예측하도록 학습합니다. 이미지 리스케일링에서는 다운스케일링과 업스케일링 과정을 동시에 모델링하여 높은 정확도를 달성합니다. 기존 접근 방식들이 이 두 작업에 대해 전문적인 기술을 사용하는 반면, 우리는 이를 단일 공식으로 통합하기 위해 노력하였습니다.본 논문에서는 이미지 SR과 이미지 리스케일링을 위한 통합 프레임워크로서 계층적 조건부 흐름(HCFlow, Hierarchical Conditional Flow)을 제안합니다. 특히, HCFlow는 LR 이미지의 분포와 나머지 고주파 성분을 동시에 모델링하여 HR과 LR 이미지 쌍 간의 양방향 매핑을 학습합니다. 여기서 고주파 성분은 계층적으로 LR 이미지에 조건부로 설정됩니다. 성능을 더욱 향상시키기 위해, 훈련 과정에서 일반적으로 사용되는 음의 로그尤가능度 손실(negative log-likelihood loss) 외에도 지각 손실(perceptual loss) 및 GAN 손실(GAN loss)이 결합되었습니다.일반 이미지 SR, 얼굴 이미지 SR 및 이미지 리스케일링에 대한 광범위한 실험 결과, 제안된 HCFlow는 양적 지표와 시각적 품질 측면에서 최신 수준의 성능을 달성함을 입증하였습니다.注释:- "尤加能度" 应为 "우가능도",这是“log-likelihood”的音译错误。正确的翻译应该是 “로그 가능도”。- 修正后的句子:“성능을 더욱 향상시키기 위해, 훈련 과정에서 일반적으로 사용되는 음의 로그 가능도 손실(negative log-likelihood loss) 외에도 지각 손실(perceptual loss) 및 GAN 손실(GAN loss)이 결합되었습니다。”最终版本:최근 정규화 흐름(Normalizing flows)은 저수준 비전 작업에서 유망한 결과를 보여주고 있습니다. 이미지 초해상도(SR)에서는 결정론적인 매핑을 학습하는 대신 저해상도(LR) 이미지에서 다양한 사진 같은 고해상도(HR) 이미지를 예측하도록 학습합니다. 이미지 리스케일링에서는 다운스케일링과 업스케일링 과정을 동시에 모델링하여 높은 정확도를 달성합니다. 기존 접근 방식들이 이 두 작업에 대해 전문적인 기술을 사용하는 반면, 우리는 이를 단일 공식으로 통합하기 위해 노력하였습니다.본 논문에서는 이미지 SR과 이미지 리스케일링을 위한 통합 프레임워크로서 계층적 조건부 흐름(HCFlow, Hierarchical Conditional Flow)을 제안합니다. 특히, HCFlow는 LR 이미지의 분포와 나머지 고주파 성분을 동시에 모델링하여 HR과 LR 이미지 쌍 간의 양방향 매핑을 학습합니다. 여기서 고주파 성분은 계층적으로 LR 이미지에 조건부로 설정됩니다. 성능을 더욱 향상시키기 위해, 훈련 과정에서 일반적으로 사용되는 음의 로그 가능도 손실(negative log-likelihood loss) 외에도 지각 손실(perceptual loss) 및 GAN 손실(GAN loss)이 결합되었습니다.일반 이미지 SR, 얼굴 이미지 SR 및 이미지 리스케일링에 대한 광범위한 실험 결과, 제안된 HCFlow는 양적 지표와 시각적 품질 측면에서 최신 수준의 성능을 달성함을 입증하였습니다.

계층적 조건부 흐름: 이미지 초해상도 및 이미지 리스케일링을 위한 통합 프레임워크 | 최신 연구 논문 | HyperAI초신경