고속 및 고동적 범위 비디오에 대한 이벤트 카메라

이벤트 카메라는 밝기 변화를 강도 프레임 대신 비동기적인 "이벤트" 스트림 형태로 보고하는 새로운 센서입니다. 이들은 기존 카메라에 비해 고시간 해상도, 고동적 범위, 그리고 모션 블러가 없는 등의 상당한 장점을 제공합니다. 이론적으로 이벤트 스트림은 완전한 시각 신호를 인코딩하지만, 실제로는 이벤트 스트림에서 강도 이미지를 재구성하는 것이 불안정한 문제입니다. 기존의 재구성 방법들은 이미징 과정과 자연 이미지의 통계에 대한 강력한 가정과 수작업으로 설계된 사전 지식을 기반으로 합니다. 본 연구에서는 이러한 수작업 사전 지식에 의존하지 않고 데이터로부터 직접 이벤트 스트림에서 강도 이미지를 재구성하는 방법을 학습하는 것을 제안합니다. 우리는 이벤트 스트림에서 비디오를 재구성하기 위한 새로운 순환 네트워크를 제안하고, 대량의 시뮬레이션된 이벤트 데이터로 이를 훈련시킵니다. 훈련 중에는 자연 이미지 통계를 따르도록 재구성을 유도하기 위해 감각 손실(perceptual loss)을 사용하도록 제안합니다. 또한 우리는 컬러 이벤트 스트림에서 컬러 이미지를 합성하는 방법을 확장합니다. 우리의 네트워크는 이미지 품질 측면에서 기존 최신 재구성 방법들보다 크게 우수하며(20% 이상), 실시간으로 안정적으로 실행됩니다. 우리는 네트워크가 고속 현상을 촬영한 고프레임률 비디오(예: 총알이 물체에 충돌하는 장면, 5,000 프레임/초 이상)를 합성할 수 있으며, 어려운 조명 조건에서도 고동적 범위 재구성을 제공할 수 있음을 보여줍니다. 또한 우리는 이러한 재구성이 이벤트 데이터의 중간 표현으로서 효과적임을 입증합니다. 우리는 오프더셸프 컴퓨터 비전 알고리즘이 우리의 재구성을 활용하여 객체 분류와 시각-관성 오도미터 등의 작업을 수행할 수 있으며, 이러한 전략이 이벤트 데이터를 위해 특별히 설계된 알고리즘보다 일관되게 우수함을 보여줍니다.