BasicVSR++: 향상된 전파 및 정렬을 통한 비디오 초해상도 향상

반복 구조는 비디오 초해상화 작업에 대한 인기 있는 프레임워크 선택입니다. 최신 방법인 BasicVSR은 양방향 전파와 특성 정렬을 채택하여 입력 비디오 전체에서 정보를 효과적으로 활용합니다. 본 연구에서는 2차 격자 전파와 흐름 안내 변형 정렬을 제안하여 BasicVSR을 재설계하였습니다. 우리는 이 강화된 전파와 정렬 기능으로 인해 반복 프레임워크가 미정렬된 비디오 프레임 간의 시공간 정보를 더 효과적으로 활용할 수 있음을 보여주었습니다. 새로운 구성 요소들은 유사한 계산 제약 조건 하에서 성능 개선을 이끌어냈습니다. 특히, 우리의 모델 BasicVSR++은 유사한 파라미터 수로 BasicVSR보다 0.82 dB 높은 PSNR(피크 신호 대 잡음비)를 달성하였습니다. 비디오 초해상화뿐만 아니라, BasicVSR++은 압축된 비디오 향상과 같은 다른 비디오 복원 작업에도 잘 일반화됩니다. NTIRE 2021에서 BasicVSR++은 비디오 초해상화 및 압축된 비디오 향상 챌린지에서 세 개의 우승과 하나의 준우승을 차지하였습니다. 코드와 모델은 MMEditing에 공개될 예정입니다.