이벤트 기반 크로스모달 어텐션을 이용한 모션 블러 제거

전통적인 프레임 기반 카메라는 긴 노출 시간으로 인해 필연적으로 운동 흐림을 겪는다. 이에 비해 생물학적 영감을 받은 이벤트 카메라는 고시간 해상도로 비동기적으로 밝기 변화를 기록함으로써, 노출 시간 내의 유효한 이미지 왜곡 정보를 제공한다. 본 논문에서는 이벤트 기반 이미지 흐림 제거 문제를 재고하고, 이를 엔드투엔드의 두 단계 이미지 복원 네트워크로 전개한다. 이벤트와 이미지 특징을 효과적으로 융합하기 위해, 네트워크의 다수의 레벨에 적용 가능한 이벤트-이미지 크로스 모달 어텐션 모듈을 설계하였으며, 이는 이벤트 브랜치로부터 관련 특징에 집중하고 노이즈를 제거하는 데 기여한다. 또한, 이미지 흐림 제거를 위해 특별히 설계된 대칭적 누적 이벤트 표현 방식과, 두 단계 간의 이벤트 마스크 게이팅 연결을 도입하여 정보 손실을 방지한다. 데이터셋 수준에서는 이벤트 기반 운동 흐림 제거를 촉진하고, 도전적인 실세계 이미지에 대한 평가를 용이하게 하기 위해, 조명이 제어된 광학 실험실에서 이벤트 카메라로 촬영한 Real Event Blur (REBlur) 데이터셋을 제안한다. 제안한 이벤트 융합 네트워크(Event Fusion Network, EFNet)는 GoPro 데이터셋(최대 2.47dB 향상)과 본 연구의 REBlur 데이터셋에서 기존 최고 성능을 기록한 이미지 기반 방법과 공개 구현된 모든 이벤트 기반 방법을 모두 초월하며, 극한의 흐림 조건에서도 최신 기준을 확립한다. 코드 및 REBlur 데이터셋은 공개될 예정이다.