초록
이벤트 카메라 또는 동적 비전 센서(Dynamic Vision Sensor, DVS)는 프레임 기반 카메라에 비해 여러 가지 장점을 보여주어 매우 유망한 센서입니다. 그러나 최근 이 카메라의 실제 응용 분야에 대한 연구 대부분은 3D 재구성과 6자유도(6-DOF) 카메라 추적에 집중되어 있습니다. 시각 인식 작업에서 최신 기술을 선도하는 딥러닝 기반 접근 방식은 DVS의 이점을 활용할 수 있는 잠재력을 가지고 있지만, 이러한 카메라에서 효과적으로 작동하기 위해서는 아직 일부 조정이 필요합니다. 본 연구에서는 이러한 데이터를 사용한 의미 분할을 위한 첫 번째 베이스라인을 제시합니다. 우리는 최신 기술을 바탕으로 이벤트 정보만을 입력으로 사용하는 의미 분할 CNN을 구축하였습니다. 또한, 관련 작업에서 이전에 사용되었던 이벤트 표현보다 우수한 새로운 DVS 데이터 표현 방법을 제안합니다. 이 작업에 대한 라벨링된 데이터셋이 존재하지 않기 때문에, DDD17 데이터셋의 일부 시퀀스에 대해 근사적인 의미 분할 라벨을 자동으로 생성하는 방법을 제안하며, 이를 모델과 함께 공개하여 DVS 데이터만으로 모델을 훈련시키는 것이 유효함을 입증합니다. 우리는 DVS 데이터로부터 얻은 의미 분할 결과와 해당 그레이스케일 이미지를 사용한 결과를 비교하여, 두 방법이 상호 보완적이며 결합할 가치가 있음을 보여줍니다.