MFQE 2.0: 압축된 비디오의 다중 프레임 품질 향상을 위한 새로운 접근 방식

최근 몇 년간 딥 러닝을 압축된 이미지/비디오의 품질 향상에 적용하는 데 있어 큰 성공을 거두었습니다. 기존 접근 방식은 주로 단일 프레임의 품질 향상에 초점을 맞추고 있으며, 연속 프레임 간의 유사성을 고려하지 않는다는 점이 문제입니다. 본 논문에서 조사한 바와 같이 압축 비디오 프레임 간에는 큰 변동성이 존재하므로, 이웃하는 고품질 프레임을 이용하여 저품질 프레임의 품질을 향상시키는 데 프레임 유사성을 활용할 수 있습니다. 이 작업을 다중프레임 품질향상(Multi-Frame Quality Enhancement, MFQE)이라고 합니다. 따라서 본 논문에서는 압축 비디오를 위한 MFQE 접근법을 제안하며, 이는 해당 분야에서 처음 시도되는 것입니다.우리의 접근법에서는 먼저 양방향 장단기 기억(Bidirectional Long Short-Term Memory, BiLSTM) 기반 검출기를 개발하여 압축 비디오에서 피크 퀄리티 프레임(Peak Quality Frames, PQFs)을 위치 파악합니다. 그런 다음, 새로운 다중프레임 컨볼루션 신경망(Multi-Frame Convolutional Neural Network, MF-CNN)을 설계하여 압축 비디오의 품질을 향상시킵니다. 여기서 입력으로 사용되는 것은 비-PQF와 그에 가장 가까운 두 개의 PQF입니다. MF-CNN에서는 비-PQF와 PQFs 사이의 움직임이 모션 보정 서브넷(motion compensation subnet)에 의해 보정됩니다. 이후, 퀄리티 향상 서브넷(quality enhancement subnet)이 비-PQF와 보정된 PQFs를 융합하고, 비-PQF의 압축 아티팩트(compression artifacts)를 줄입니다. 또한, PQF의 품질도 같은 방식으로 향상됩니다. 마지막으로, 실험 결과가 우리의 MFQE 접근법이 최신 기술(state-of-the-art)인 압축 비디오의 품질향상을 효과적으로 수행하고 일반화 능력이 있음을 입증합니다. 코드는 https://github.com/RyanXingQL/MFQEv2.0.git 에서 제공됩니다.