15일 전

SwinSF: 공간-시간 스파이크 스트림에서의 이미지 재구성

Liangyan Jiang, Chuang Zhu, Yanxu Chen
SwinSF: 공간-시간 스파이크 스트림에서의 이미지 재구성
초록

스피크 카메라(spike camera)는 높은 시간 해상도, 낮은 지연 시간, 그리고 높은 다이내믹 레인지 특성을 갖추고 있어 운동 흐림(motion blur)과 같은 고속 영상 촬영 과제를 효과적으로 해결할 수 있다. 이 카메라는 각 픽셀에서 광자를 독립적으로 캡처하여 시간 정보가 풍부한 이진 스파이크 스트림(binary spike streams)을 생성하지만, 이는 이미지 재구성에 있어 도전 과제를 동반한다. 기존의 전통적 알고리즘과 딥러닝 기반 알고리즘 모두 스파이크 스트림의 풍부한 시간적 세부 정보를 효과적으로 활용하고, 재구성된 이미지의 세부 사항을 복원하는 데 있어 여전히 개선이 필요하다. 이를 극복하기 위해 우리는 스파이크 스트림으로부터 동적 장면을 재구성하기 위한 새로운 모델인 Swin Spikeformer(SwinSF)를 제안한다. SwinSF는 스파이크 특징 추출 모듈, 공간-시간 특징 추출 모듈, 최종 재구성 모듈로 구성되어 있으며, 이동 윈도우 자기 주의(moving-window self-attention)와 본 연구에서 제안한 시간적 스파이크 주의(temporal spike attention)를 결합함으로써 공간적 및 시간적 동역학을 종합적으로 포착하는 특징 추출을 가능하게 하여, 더 강력하고 정확한 스파이크 스트림 재구성 결과를 도출한다. 또한, 최신 스파이크 카메라의 해상도와 일치하는 새로운 합성 데이터셋을 구축하여, 최신 스파이크 카메라 영상 기술의 발전과의 관련성과 적용 가능성을 보장하였다. 실험 결과, 제안된 네트워크인 SwinSF는 다양한 해상도의 실제 데이터 및 합성 데이터를 포함한 일련의 데이터셋에서 최신 기준을 수립하며, 현재까지 보고된 최고의 성능을 달성함을 입증하였다. 본 연구의 코드와 제안된 데이터셋은 곧 공개될 예정이다.

SwinSF: 공간-시간 스파이크 스트림에서의 이미지 재구성 | 최신 연구 논문 | HyperAI초신경