HyperE2VID: Hypernetworks을 활용한 이벤트 기반 비디오 재구성 개선

이벤트 기반 카메라가 저지연과 고동적 범위로 고속 움직임을 캡처할 수 있는 능력으로 점점 인기를 얻고 있습니다. 그러나 이벤트 데이터의 극도로 희소하고 변화하는 특성 때문에 이벤트에서 비디오를 생성하는 것은 여전히 어려움을 겪고 있습니다. 이를 해결하기 위해 본 연구에서는 이벤트 기반 비디오 재구성을 위한 동적 신경망 구조인 하이퍼E2VID(HyperE2VID)를 제안합니다. 우리의 접근 방식은 이벤트 복셀 그리드와 이전에 재구성된 강도 이미지에서 정보를 결합하는 컨텍스트 융합 모듈에 의해 안내되는 픽셀별 적응 필터를 생성하기 위해 하이퍼네트워크를 사용합니다. 또한 네트워크를 더욱 견고하게 학습시키기 위해 교육 과정 학습 전략을 적용하였습니다. 다양한 벤치마크 데이터셋에 대한 포괄적인 실험 평가 결과, 하이퍼E2VID는 재구성 품질 면에서 현재 최신 방법들을 능가할 뿐만 아니라 더 적은 매개변수, 줄어든 계산 요구사항, 그리고 가속화된 추론 시간을 통해 이를 달성함을 확인하였습니다.