이벤트 카메라의 시뮬레이션과 실제 간의 차이 줄이기

이벤트 카메라는 비동기적으로 발생하는 픽셀별 밝기 변화를 '이벤트'라고 불리는 정보로 보고하는 혁신적인 새로운 센서로, 전례 없는 낮은 지연 시간을 제공합니다. 이는 기존 카메라가 실패할 수 있는 고속 및 고동적 범위 장면에서 이상적이게 만듭니다. 최근 연구에서는 이벤트를 사용한 비디오 재구성 및 광학 흐름에 대한 컨볼루션 신경망(CNNs)의 인상적인 결과를 보여주었습니다. 우리는 기존 최첨단(SOTA) 비디오 재구성 네트워크와 광학 흐름 네트워크의 성능을 각각 20-40%와 최대 15% 향상시키는 이벤트 기반 CNN의 학습 데이터 개선 전략을 제시합니다.이벤트 기반 비디오 재구성을 평가하는 데 있어 기존 데이터셋에서 고품질 참조 이미지 부족이라는 문제가 있습니다. 이를 해결하기 위해, 우리는 DAVIS240C에서 캡처된 잘 노출되고 최소한으로 모션 블러가 발생한 이벤트와 참조 프레임을 포함하는 새로운 고품질 프레임(HQF) 데이터셋을 소개합니다. 우리는 본 방법론을 HQF + 여러 기존 주요 이벤트 카메라 데이터셋에서 평가하였습니다.