초록
영상 압축 분야에서 낮은 비트레이트에서도 높은 품질을 달성하는 것은 오랫동안 지속되는 목표이다. 최근의 연구들은 전통적인 변환 기반 기법에 대한 유망한 대안으로 은유적 신경 표현(implicit neural representation, INR)의 가능성을 입증하고 있다. 영상 INR은 네트워크 출력 구조에 따라 프레임 기반과 픽셀 기반으로 대략 구분할 수 있다. 픽셀 기반 기법은 확대 및 병렬 처리 측면에서 우수한 성능을 보이지만, 프레임 기반 기법은 더 뛰어난 압축 성능을 보여왔다. 본 연구에서는 영상 압축을 위한 새로운 픽셀 기반 INR인 CoordFlow를 제안한다. 기존의 픽셀 기반 INR들과 비교해 최첨단 성능을 기록하며, 선도적인 프레임 기반 기법들과도 비슷한 성능을 달성한다. 제안된 방법은 시각적 일관성을 갖는 계층으로 시각 정보를 분리하고, 각 계층에 맞는 전용 네트워크를 통해 해당 계층의 운동을 보정하는 데 기반을 두고 있다. 이러한 통합 과정에서 비록 의도하지 않은 결과이지만, 비지도 기반의 영상 시퀀스 분할이 자연스럽게 발생한다. 객체의 운동 궤적은 시각-시간적 중복을 암묵적으로 보정하는 데 활용된다. 더불어, 제안된 방법은 내재적인 영상 확대, 안정화, 인페인팅(inpainting), 노이즈 제거 기능을 제공한다.