저지연 이벤트 처리를 위한 계층적 신경 메모리 네트워크

이 논문은 이벤트 기반 밀도 예측 작업을 위한 저지연 신경망 아키텍처를 제안한다. 기존 아키텍처는 시계열 특성에 관계없이 일정한 주기로 전체 장면 내용을 인코딩한다. 반면에 제안하는 네트워크는 물체의 이동 속도에 따라 적절한 시계열 스케일로 내용을 인코딩한다. 이를 위해 다양한 속도로 작동하는 스택형 잠재 메모리(temporal hierarchy)를 구성함으로써 구현한다. 저지연 이벤트 스트림을 입력으로 받아, 다중 수준의 메모리가 빠른 메모리 모듈에서 느린 메모리 모듈로 정보를 전파하면서 동적 내용부터 정적 내용까지 점진적으로 추출한다. 제안된 아키텍처는 기존 아키텍처의 중복을 줄이는 동시에 장기적 의존성(long-term dependencies)을 효과적으로 활용한다. 또한, 주의 기반(event-based attention) 표현 방식을 통해 희소한 이벤트 스트림을 메모리 셀에 효율적으로 인코딩한다. 우리는 세 가지 이벤트 기반 밀도 예측 작업에 대해 광범위한 평가를 수행하였으며, 제안한 방법은 정확도와 지연 시간 모두에서 기존 방법을 능가함을 확인하였고, 이벤트와 이미지의 융합 능력 또한 효과적으로 입증하였다. 코드는 https://hamarh.github.io/hmnet/ 에 공개되어 있다.