2달 전

역할 수 있는 이미지 리스케일링

Xiao, Mingqing ; Zheng, Shuxin ; Liu, Chang ; Wang, Yaolong ; He, Di ; Ke, Guolin ; Bian, Jiang ; Lin, Zhouchen ; Liu, Tie-Yan
역할 수 있는 이미지 리스케일링
초록

고해상도 디지털 이미지는 다양한 디스플레이 화면에 맞추거나 저장 공간과 대역폭 비용을 절약하기 위해 일반적으로 축소됩니다. 이와 동시에, 후처리 확대(upscaling)는 원래 해상도나 확대된 이미지의 세부 사항을 복원하는 데 사용됩니다. 그러나 일반적인 이미지 축소는 고주파 정보의 손실로 인해 비단사射(non-injective) 매핑이 되어, 역확대 과정의 불안정한 문제를 초래하고 축소된 저해상도 이미지에서 세부 사항을 복원하는 데 큰 어려움을 줍니다. 단순히 이미지 슈퍼 리졸루션 방법으로 확대하면 복원 성능이 만족스럽지 않습니다. 본 연구에서는 이 문제를 해결하기 위해 새로운 관점, 즉 역변환 가능한 전단사射(bijective) 변환을 통해 축소 및 확대 과정을 모델링하는 방법을 제안합니다. 이를 통해 이미지 확대의 불안정한 특성을 크게 완화할 수 있습니다. 우리는 저해상도 이미지를 시각적으로 아름답게 생성하면서 동시에 축소 과정에서 손실된 정보의 분포를 특정 분포를 따르는 잠재 변수(latent variable)를 사용하여 포착할 수 있는 Invertible Rescaling Net (IRN)을 개발하였습니다. 이러한 방식으로, 저해상도 이미지와 무작위로 추출된 잠재 변수를 네트워크를 거쳐 역으로 전달함으로써 확대가 가능하게 됩니다. 실험 결과, 제안된 모델은 기존 방법들보다 양적 평가와 질적 평가 측면에서 이미지 확대 복원에 있어 상당한 개선을 보였습니다.개선된 번역:고해상도 디지털 이미지는 다양한 디스플레이 화면에 맞추거나 저장 공간과 대역폭 비용을 절약하기 위해 일반적으로 축소됩니다. 또한, 후처리 확장(upscaling)은 원래 해상도나 확대된 이미지의 세부 사항을 복원하는 데 사용됩니다. 그러나 일반적인 이미지 축소는 고주파 정보의 손실로 인해 비단사(non-injective) 매핑이 되어, 역확장 과정의 불안정한 문제를 초래하며, 축소된 저해상도 이미지에서 세부 사항을 복원하는 데 큰 도전이 됩니다. 단순히 슈퍼 리졸루션(Super Resolution) 방법으로 확장하면 복원 성능이 만족스럽지 않습니다. 본 연구에서는 이 문제를 해결하기 위해 새로운 관점인 역변환 가능한 전단사(bijective) 변환을 통해 축소 및 확장 과정을 모델링하는 방법을 제안합니다. 이를 통해 이미지 확장의 불안정성을 크게 완화할 수 있습니다.우리는 Invertible Rescaling Net (IRN)이라는 네트워크를 개발하였으며, 이 네트워크는 저해상도 이미지를 시각적으로 만족스럽게 생성하면서 동시에 축소 과정에서 손실된 정보의 분포를 특정 분포를 따르는 잠재 변수(latent variable)를 사용하여 포착합니다. 이렇게 하여, 저해상도 이미지와 무작위로 추출된 잠재 변수를 네트워크를 거쳐 역으로 전달함으로써 효과적인 확장을 실현할 수 있습니다. 실험 결과, 제안된 모델은 기존 방법들보다 양적 평가와 질적 평가 측면에서 저해상도 이미지로부터의 고해상도 복원 성능에 있어 상당한 개선을 보였습니다.