패치 크래프트: 깊은 모델링과 패치 매칭을 통한 비디오 노이즈 제거

자연 이미지의 비국소 자기 유사성 특성을 다양한 이미지 처리 문제 해결에 널리 활용해 왔습니다. 동영상 시퀀스의 경우, 시간적 중복성 덕분에 이 특성을 활용하는 것이 더욱 유익합니다. 이미지 및 동영상 노이즈 제거의 맥락에서 많은 전통적인 알고리즘이 자기 유사성을 이용하여 데이터를 겹치는 패치로 분할하고, 유사한 패치 그룹을 모아서 somehow(어떤 방식으로든) 함께 처리합니다. 합성곱 신경망(CNN)의 등장 이후, 패치 기반 프레임워크는 폐기되었습니다. 대부분의 CNN 노이즈 제거기는 전체 이미지를 대상으로 하며, 큰 수용 영역을 사용하여 비국소 관계를 암시적으로 활용합니다. 본 연구에서는 비국소 자기 유사성을 활용하면서 여전히 일반적인 합성곱 구조에 의존하는 새로운 접근법을 제안합니다. 우리는 패치-크래프트 프레임이라는 개념을 도입하는데, 이는 실제 프레임과 유사한 인공 프레임으로, 일치하는 패치들을 타일링하여 구성됩니다. 우리의 알고리즘은 동영상 시퀀스에 패치-크래프트 프레임을 추가하고 이를 CNN에 입력합니다. 우리는 제안된 접근법으로 얻은 노이즈 제거 성능의 상당한 향상을 보여줍니다.