GET: 그룹 이벤트 트랜스포머를 활용한 이벤트 기반 비전

이벤트 카메라는 최근 점점 더 많은 주목을 받고 있는 새로운 유형의 뉴로모픽 센서이다. 기존의 이벤트 기반 백본 구조는 주로 이벤트로부터 변환된 이미지 내에서 공간 정보를 추출하는 이미지 기반 설계에 의존하며, 시간과 극성과 같은 중요한 이벤트 특성을 간과하고 있다. 이러한 문제를 해결하기 위해, 우리는 이벤트 기반 시각 작업을 위한 새로운 그룹 기반 비전 트랜스포머 백본인 Group Event Transformer(GET)을 제안한다. GET은 특징 추출 과정 전반에 걸쳐 시간-극성 정보와 공간 정보를 분리한다. 구체적으로, 먼저 타임스탬프와 극성 기반으로 비동기 이벤트를 그룹화하는 새로운 이벤트 표현 방식인 Group Token을 제안한다. 이후 GET은 이벤트 듀얼 자체주의(Block)와 Group Token 집계 모듈을 적용하여 공간적 영역뿐 아니라 시간-극성 영역에서도 효과적인 특징 통신과 통합을 가능하게 한다. 이후 GET은 다양한 헤드와 연결함으로써 다양한 하류 작업에 통합될 수 있다. 우리는 네 가지 이벤트 기반 분류 데이터셋(Cifar10-DVS, N-MNIST, N-CARS, DVS128Gesture)과 두 가지 이벤트 기반 객체 탐지 데이터셋(1Mpx, Gen1)에서 제안한 방법을 평가하였으며, 결과적으로 GET이 다른 최신 기술들보다 우수한 성능을 보였다. 코드는 https://github.com/Peterande/GET-Group-Event-Transformer 에서 공개되어 있다.