ALERT-Transformer: 실시간 이벤트 기반 공간시적 데이터를 위한 비동기 및 동기 기계학습 간의 다리를 놓다

이 연구에서는 이벤트 기반 센서가 생성하는 연속적인 극도로 희박한 시공간 데이터에 대해 기존의 밀집형 머신러닝 모델을 활용한 전통적인 처리를 가능하게 하고자 한다. 우리는 비동기 센싱과 동기 처리를 결합한 새로운 하이브리드 파이프라인을 제안한다. 이 파이프라인은 다음과 같은 세 가지 핵심 아이디어를 통합한다: (1) PointNet 기반의 임베딩 기법—ALERT 모듈—은 누설 메커니즘을 통해 새로운 이벤트는 지속적으로 통합하고 오래된 이벤트는 제거할 수 있다; (2) 유연한 읽기(레드아웃) 구조를 통해 임베딩된 데이터를 언제든지 최신 상태의 특징으로 변환하여, 어떠한 샘플링 주기에서도 하류 모델에 지속적으로 공급할 수 있다; (3) 비전 트랜스포머(Vision Transformer)의 패치 기반 접근 방식을 차용하여 입력 데이터의 희박성을 효율적으로 활용함으로써 전체 처리 효율을 최적화한다. 이러한 임베딩된 특징은 객체 및 제스처 인식을 위해 훈련된 트랜스포머 모델에 의해 처리된다. 본 방법을 통해 기존 최고 수준의 성능을 달성하면서도 경쟁 기술 대비 더 낮은 지연 시간을 구현하였다. 또한, 제안하는 비동기 모델이 원하는 모든 샘플링 주기에서 안정적으로 작동할 수 있음을 실험적으로 입증하였다.