HINet: 이미지 복원을 위한 반 개체 정규화 네트워크

본 논문에서는 인스턴스 정규화(Instance Normalization)가 저수준 시각 작업에서 수행하는 역할을 탐구한다. 구체적으로, 이미지 복원 네트워크의 성능을 향상시키기 위해 새로운 블록인 반정도 인스턴스 정규화 블록(Half Instance Normalization Block, HIN 블록)을 제안한다. HIN 블록을 기반으로 두 개의 하위 네트워크로 구성된 간단하면서도 강력한 다단계 네트워크인 HINet를 설계하였다. HIN 블록의 도움을 받아, HINet는 다양한 이미지 복원 작업에서 최신 기준(SOTA)을 초월하였다. 이미지 노이즈 제거(task)에서는 SIDD 데이터셋에서 PSNR 기준으로 각각 0.11dB 및 0.28dB 향상되었으며, 연산량(MACs)은 각각 7.5%와 30%로 감소하고, 처리 속도는 각각 6.8배와 2.9배 향상되었다. 이미지 흐림 제거(task)에서는 REDS 및 GoPro 데이터셋에서 MACs의 22.5%만을 사용하면서도 기존 방법과 유사한 성능을 달성하였고, 처리 속도는 3.3배 빨라졌다. 이미지 비 오는 현상 제거(task)에서는 여러 데이터셋의 평균 결과에서 PSNR 기준으로 0.3dB 향상되었으며, 처리 속도는 1.4배 빨라졌다. HINet를 활용하여 NTIRE 2021 이미지 흐림 제거 챌린지 - Track2에서 1위를 차지하였으며, JPEG 아티팩트 제거 작업에서 PSNR 29.70을 기록하였다. 코드는 https://github.com/megvii-model/HINet 에 공개되어 있다.