KBNet: 커널 기반 네트워크를 이용한 이미지 복원

공간 정보를 집계하는 방법은 학습 기반 이미지 복원에서 중요한 역할을 합니다. 대부분의 기존 CNN 기반 네트워크는 공간 정보를 인코딩하기 위해 정적 컨볼루션 커널을 사용하지만, 이는 적응적으로 공간 정보를 집계할 수 없습니다. 최근 트랜스포머 기반 아키텍처들은 적응적인 공간 집계를 달성하였지만, 컨볼루션의 바람직한 귀납 편향(inductive biases)이 부족하며 중량적인 계산 비용이 필요합니다. 본 논문에서는 대표적인 이미지 패턴을 모델링하여 공간 정보를 집계하는 학습 가능한 커널 베이시스(kernel bases)를 도입하는 커널 베이시스 어텐션(KBA) 모듈을 제안합니다. 다양한 커널 베이시스는 서로 다른 로컬 구조를 모델링하도록 훈련됩니다. 각각의 공간 위치에서 예측된 픽셀별 계수(pixel-wise coefficients)에 의해 선형이고 적응적으로 융합되어 집계 가중치(aggregation weights)를 얻습니다. KBA 모듈을 기반으로, 채널별, 공간 불변(spatial-invariant), 픽셀 적응(pixle-adaptive) 특성을 인코딩하고 융합하기 위한 다축 특성 융합(MFF) 블록을 추가로 설계하였습니다. 우리 모델인 커널 베이시스 네트워크(KBNet)는 이미지 노이즈 제거, 비 제거, 블러 제거 작업에서 10여 개 이상의 벤치마크에서 최고 수준의 성능을 달성하면서도 이전 최신(SOTA) 방법보다 더 적은 계산 비용을 요구합니다.