17일 전

인지 기반 단일 이미지 초해상도 재구성: 최적의 목적 추정을 활용한 방법

Seung Ho Park, Young Su Moon, Nam Ik Cho
인지 기반 단일 이미지 초해상도 재구성: 최적의 목적 추정을 활용한 방법
초록

단일 이미지 초해상도 복원(SISR) 네트워크는 왜곡 중심 손실(L1 또는 L2 등)을 사용하는 네트워크보다 인지적 손실과 적대적 손실을 활용해 훈련할 경우 더 높은 대비도를 제공한다. 그러나 기존 연구에서는 단일 인지적 손실만을 사용할 경우 이미지 내 국소적으로 다양하게 변하는 형태를 정확히 복원하는 데 한계가 있으며, 부자연스러운 아티팩트나 비현실적인 세부 정보를 생성하는 경우가 많다는 점이 지적되었다. 이를 해결하기 위해 인지적, 적대적, 왜곡 손실 등 다양한 손실 함수의 조합이 시도되었으나, 최적의 손실 조합을 찾는 것은 여전히 도전적인 과제이다. 본 논문에서는 고해상도 출력 영역 전체에 걸쳐 자연스럽고 신뢰할 수 있는 결과를 생성하기 위해 각 영역에 최적의 목적함수를 적용하는 새로운 SISR 프레임워크를 제안한다. 구체적으로, 주어진 저해상도(LR) 입력에 대해 최적의 목적함수 맵을 예측하는 예측 모델과, 목표 목적함수 맵을 적용하여 해당 고해상도(SR) 출력을 생성하는 생성 모델로 구성된다. 생성 모델은 다양한 SR 결과를 학습할 수 있도록, 여러 핵심 목적함수들을 포함하는 본 연구에서 제안하는 목적함수 궤적(objective trajectory)을 기반으로 훈련된다. 예측 모델은 저해상도 이미지와 해당 이미지에 대해 목적함수 궤적에서 탐색된 최적의 목적함수 맵 쌍을 사용하여 훈련된다. 다섯 가지 벤치마크에서의 실험 결과, 제안한 방법은 LPIPS, DISTS, PSNR, SSIM 등 주요 평가 지표에서 최신의 인지 중심 SR 기법들을 모두 상회함을 보였다. 시각적 결과 또한 본 방법이 인지 중심 복원 측면에서 우수한 성능을 발휘함을 입증한다. 코드와 모델은 https://github.com/seungho-snu/SROOE 에서 공개되어 있다.

인지 기반 단일 이미지 초해상도 재구성: 최적의 목적 추정을 활용한 방법 | 최신 연구 논문 | HyperAI초신경