8일 전

블라인드 슈퍼해상도를 위한 픽셀 수준의 커널 추정

{Jae-Pil Heo, Euiyeon Kim, Jaihyun Lew}
초록

최근 몇 년간 딥러닝 기반 모델은 초해상도(super-resolution, SR) 분야에서 성공을 거두었다. 대부분의 기존 연구들은 저해상도(LR) 이미지가 고해상도(HR) 이미지로부터 사전 정의된 블러 커널을 사용하여 '균일하게' 저해상도화되었다는 가정을 내세운다. 즉, 이미지의 모든 영역이 동일한 저해상도화 과정을 겪는다는 전제이다. 또한 이러한 가정 하에, 주어진 LR 이미지의 블러 커널을 추정하려는 시도들이 이루어졌는데, 정확한 커널 사전 지식이 초해상도 복원에 유리하다는 점이 잘 알려져 있기 때문이다. 그러나 실세계 이미지의 블러 커널은 비균일하며 공간적으로 변하는 특성을 가진다는 점이 이미 알려져 있다. 그러나 현재의 커널 추정 알고리즘은 대부분 이미지 수준에서 작동하며, 하나의 이미지당 하나의 커널을 추정한다. 이러한 접근은 이미지가 비균일하게 저해상도화된 상황에서 필연적으로 최적의 성능을 발휘하지 못한다. 이미지를 여러 패치로 나누어 각각에 대해 독립적으로 커널 추정과 초해상도 복원을 수행하는 분할-정복 방식은 이 문제에 대한 간단한 해결책으로 여겨질 수 있으나, 실질적으로는 실패한다. 본 논문에서는 이러한 문제를 픽셀 수준의 커널 추정을 통해 해결한다. 픽셀 수준의 커널 추정 기반 SR 프레임워크를 학습시키기 위한 세 가지 주요 구성 요소는 다음과 같다: 1) 커널 콜라주(Kernel Collage) — 이웃 영역 간의 커널 일관성을 고려하면서도 갑작스럽게 변화하는 비균일한 저해상도 이미지를 합성하는 방법; 2) 간접 손실(Indirect Loss) — 재구성 손실을 기반으로 한 새로운 커널 추정기 학습을 위한 손실 함수; 3) 추가 최적화(Additional Optimization) — 커널 추정의 미세한 오차에 대해 초해상도 네트워크의 안정성을 강화하는 기법. 광범위한 실험 결과는 픽셀 수준의 커널 추정이 블라인드 초해상도에서 우수한 성능을 발휘하며, 정량적 및 정성적 측면에서 최신 기술을 넘어선다는 것을 입증한다.

블라인드 슈퍼해상도를 위한 픽셀 수준의 커널 추정 | 최신 연구 논문 | HyperAI초신경