2달 전

다중 스케일 메모리 기반 비디오 디블러링

Ji, Bo ; Yao, Angela
다중 스케일 메모리 기반 비디오 디블러링
초록

비디오 디블러링은 딥 뉴럴 네트워크의 성공 덕분에 놀라운 발전을 이룩하였습니다. 대부분의 방법은 비디오 시퀀스에서 제한된 정보 전달만으로 디블러링을 단계적으로 해결하려고 합니다. 그러나 다른 프레임 영역들은 서로 다른 특성을 보이므로, 해당하는 관련 정보를 제공해야 합니다. 세부적인 디블러링을 달성하기 위해, 우리는 메모리 뱅크에 흐린-명료한 특성 쌍을 기억하도록 설계된 메모리 분기를 만들었습니다. 이를 통해 흐린 쿼리 입력에 유용한 정보를 제공할 수 있습니다. 우리의 메모리 뱅크를 더욱 풍부하게 하기 위해, 우리는 메모리 뱅크 기반의 양방향 재귀성과 다중 스케일 전략을 추가로 설계하였습니다. 실험 결과는 우리의 모델이 모델 복잡도와 추론 시간을 낮게 유지하면서도 다른 최신 방법들보다 우수함을 입증하였습니다. 코드는 https://github.com/jibo27/MemDeblur에서 이용 가능합니다.

다중 스케일 메모리 기반 비디오 디블러링 | 최신 연구 논문 | HyperAI초신경