RainMamba: 비디오 데레인을 위한 상태 공간 모델을 활용한 개선된 국소성 학습

실외 시각 시스템은 비줄기와 빗방울로 인해 자주 오염되며, 이는 시각적 작업과 멀티미디어 응용 프로그램의 성능을 크게 저하시킵니다. 동영상의 특성은 시간적인 중복 정보를 제공하여 비 제거에 더 안정적인 결과를 가져옵니다. 전통적인 동영상 비 제거 방법은 광학 흐름 추정과 커널 기반 방식에 크게 의존하지만, 이들의 수용 영역이 제한적입니다. 그러나 트랜스포머 구조는 장기 의존성을 가능하게 하면서도 계산 복잡도를 크게 증가시키는 문제를 가지고 있습니다. 최근에는 상태 공간 모델(SSMs)의 선형 복잡도 연산자가 효율적인 장기 시간적 모델링을 촉진하는 것으로 나타났는데, 이는 동영상에서 비줄기와 빗방울을 제거하는 데 매우 중요합니다. 예상치 않게, 이 일차원 순차 처리 과정은 시간-공간 차원 간의 인접 픽셀 거리를 늘려 지역 상관관계를 파괴합니다. 이를 해결하기 위해, 우리는 새로운 힐베르트 스캔 메커니즘을 도입한 개선된 SSMs 기반 동영상 비 제거 네트워크(RainMamba)를 제시합니다. 또한, 패치 수준의 자기 유사성 학습 능력을 강화하기 위해 차이 지도 동적 대조적 지역 학습 전략을 소개합니다. 4개의 합성 동영상 비 제거 데이터셋과 실제 비가 오는 동영상에 대한 광범위한 실험을 통해 우리의 네트워크가 비줄기와 빗방울 제거에서 효과적이며 효율적임을 입증하였습니다. 우리의 코드와 결과는 https://github.com/TonyHongtaoWu/RainMamba에서 확인할 수 있습니다.