암시적 리샘플링 기반 정렬을 통한 비디오 슈퍼리졸루션 향상

영상 슈퍼리졸루션에서는 시간에 걸쳐 정보를 전파하는 데 프레임 단위 정렬(frame-wise alignment)을 일반적으로 사용한다. 정렬의 역할은 영상의 저수준 증강(low-level enhancement) 분야에서 잘 연구되어 왔지만, 기존 연구들은 중요한 단계인 리샘플링(resampling)을 간과하고 있다. 광범위한 실험을 통해 우리는 정렬이 효과적으로 작동하기 위해서는 참조 주파수 스펙트럼을 유지하면서 공간적 왜곡을 최소화해야 한다는 점을 입증한다. 그러나 대부분의 기존 방법들은 이리저리 부드럽게 만드는 성질을 지닌 양선형 보간(bilinear interpolation)을 기본적인 리샘플링 방식으로 사용하고 있다. 이는 슈퍼리졸루션 성능을 저해하는 요인이다. 이러한 관찰을 바탕으로, 우리는 은닉적 리샘플링 기반 정렬(implicit resampling-based alignment)을 제안한다. 샘플링 위치는 사인형 위치 인코딩(sinusioidal positional encoding)으로 표현되며, 샘플 값은 좌표 네트워크(coordiante network)와 윈도우 기반 크로스 어텐션(window-based cross-attention)을 통해 추정된다. 우리는 양선형 보간이 본질적으로 고주파 정보를 감쇠시키는 반면, MLP 기반의 좌표 네트워크는 더 많은 주파수를 근사할 수 있음을 보여준다. 합성 데이터셋과 실제 데이터셋에서의 실험 결과는, 제안한 은닉적 리샘플링을 사용한 정렬이 최첨단 프레임워크의 성능을 향상시키되, 계산량과 모델 파라미터에 거의 영향을 주지 않는다는 점을 입증한다.