E-NeRV: 분리된 공간-시간 컨텍스트를 통한 신경영상 표현의 가속화

최근 영상의 이미지 기반 은닉 신경망 표현 방식인 NeRV가 기존 픽셀 기반 은닉 표현 방식에 비해 뛰어난 성능과 빠른 속도로 인해 주목받고 있다. 그러나 성능을 향상시키기 위해 모델을 확장할 경우, 네트워크 구조 내부의 중복 파라미터로 인해 모델 크기가 크게 증가하는 문제가 발생한다. 이 현상의 핵심 원인은 NeRV의 결합된 공식화 방식에 있다. 즉, 프레임 인덱스를 입력으로 받아 영상 프레임의 공간적 및 시간적 정보를 직접 출력하기 때문이다. 본 논문에서는 이러한 문제를 해결하기 위해, 이미지 기반 은닉 신경망 표현을 공간적 및 시간적 맥락으로 분해함으로써 NeRV의 속도를 극적으로 향상시킨 E-NeRV를 제안한다. 새로운 공식화 방식을 기반으로, 제안하는 모델은 표현 능력을 유지하면서도 중복 파라미터를 크게 감소시킨다. 실험 결과, 더 적은 파라미터로도 성능을 크게 향상시킬 수 있음을 확인하였으며, 수렴 속도가 8배 이상 향상됨을 입증하였다. 코드는 https://github.com/kyleleey/E-NeRV 에서 공개되어 있다.