17일 전
시계열 그룹 주의를 활용한 비디오 슈퍼해상도
Takashi Isobe, Songjiang Li, Xu Jia, Shanxin Yuan, Gregory Slabaugh, Chunjing Xu, Ya-Li Li, Shengjin Wang, Qi Tian

초록
비디오 슈퍼리졸루션은 저해상도 비디오에서 고해상도 비디오를 생성하는 것을 목표로 하며, 최근 점차 증가하는 관심을 받고 있다. 본 연구에서는 계층적으로 시간 정보를 효과적으로 통합할 수 있는 새로운 방법을 제안한다. 입력 시퀀스는 여러 그룹으로 나뉘며, 각 그룹은 특정 프레임 레이트에 대응한다. 이러한 그룹들은 참조 프레임에서 누락된 세부 정보를 복원하기 위해 상호 보완적인 정보를 제공하며, 이 정보는 주의 메커니즘(attention module)과 깊은 그룹 내 융합 모듈(deep intra-group fusion module)을 통해 통합된다. 또한, 큰 움직임을 포함한 비디오를 처리하기 위해 빠른 공간 정렬 기법을 제안하였다. 광범위한 실험 결과는 제안된 모델이 다양한 움직임을 가진 비디오를 효과적으로 처리할 수 있음을 입증하며, 여러 벤치마크 데이터셋에서 최신 기술 대비 유리한 성능을 달성하였다.