비동기 이벤트 기반 데이터의 표현을 위한 엔드투엔드 학습

이벤트 카메라는 화소별 밝기 변화의 비동기 스트림을 기록하는 시각 센서로, 이러한 변화를 "이벤트"라고 합니다. 이벤트 카메라는 프레임 기반 카메라에 비해 컴퓨터 비전에서 높은 시간 해상도, 넓은 동적 범위, 그리고 움직임 블러가 없는 등의 매력적인 장점을 가지고 있습니다. 이벤트 신호의 희소하고 불균일한 시공간 배치 때문에 패턴 인식 알고리즘은 일반적으로 이벤트를 격자 기반 표현으로 집계한 후 표준 비전 파이프라인(예: 합성곱 신경망(CNN))을 통해 처리합니다. 본 연구에서는 이벤트 스트림을 격자 기반 표현으로 변환하기 위한 일련의 미분 가능한 연산을 통한 일반적인 프레임워크를 소개합니다. 제안된 프레임워크는 두 가지 주요 장점을 제공합니다: (i) 입력 이벤트 표현과 작업 전용 네트워크를 엔드투엔드 방식으로 학습할 수 있으며, (ii) 문헌에서 대부분의 기존 이벤트 표현을 통합하고 새로운 표현을 식별하는 분류 체계를 제시합니다. 경험적으로, 우리는 제안된 접근법이 최신 방법론보다 광학 유동 추정 및 객체 인식에서 약 12% 개선되는 것을 보여주었습니다.