
최근 몇 년 동안 딥 러닝을 압축된 이미지/동영상의 품질 향상에 적용하는 데 큰 성공을 거두었습니다. 기존 접근 방식은 주로 단일 프레임의 품질 향상에 초점을 맞추고 있으며, 연속적인 프레임 간의 유사성을 무시하고 있습니다. 본 논문에서는 압축된 동영상 프레임 간에 중대한 품질 변동이 존재함을 조사하였으며, 이에 따라 인접한 고품질 프레임을 사용하여 저품질 프레임을 향상시킬 수 있다는 다중프레임 품질향상(Multi-Frame Quality Enhancement, MFQE) 방법론을 제안합니다. 이는 해당 분야에서 처음으로 시도되는 것입니다.본 연구에서 먼저, 압축된 동영상에서 피크 퀄리티 프레임(Peak Quality Frames, PQFs)을 위치시키기 위한 서포트 벡터 머신(Support Vector Machine, SVM) 기반 검출기를 개발하였습니다. 그 다음, 비피크퀄리티프레임(non-PQF)과 가장 가까운 두 개의 PQFs를 입력으로 사용하여 압축된 동영상의 품질을 향상시키는 새로운 다중프레임 컨볼루셔널 신경망(Multi-Frame Convolutional Neural Network, MF-CNN)을 설계하였습니다. MF-CNN은 모션 보정 하위 네트워크(Motion Compensation subnet, MC-subnet)를 통해 비피크퀄리티프레임과 PQFs 사이의 움직임을 보정합니다. 이후, 품질향상 하위 네트워크(Quality Enhancement subnet, QE-subnet)는 가장 가까운 PQFs의 도움으로 비피크퀄리티프레임의 압축 아티팩트를 줄입니다. 마지막으로, 실험 결과 본 MFQE 접근 방식이 압축된 동영상의 최신 품질향상 기술을 발전시키는 데 있어 효과적이고 일반적이음을 확인하였습니다.본 연구팀이 제안한 MFQE 접근 방식의 코드는 https://github.com/ryangBUAA/MFQE.git 에서 제공됩니다.