HAIR: Hypernetworks 기반 통합 이미지 복원

이미지 복원은 저화질 이미지를 고화질의 깨끗한 이미지로 회복하는 것을 목표로 합니다. 최근의 이미지 복원 연구에서는 다양한 미지의 화질 저하를 동시에 처리할 수 있는 올인원(All-in-One) 이미지 복원 모델의 효과성이 입증되었습니다. 그러나 이러한 기존 방법들은 일반적으로 다른 유형의 화질 저하를 가진 이미지를 처리하기 위해 동일한 매개변수를 사용하여, 각각의 작업 간 성능 균형을 맞추어야 하므로 개별 작업에서의 성능이 제한됩니다. 이 문제를 완화하기 위해, 우리는 하이퍼네트워크(Hypernetworks) 기반의 올인원 이미지 복원 플러그앤플레이 방법인 HAIR를 제안합니다. HAIR는 입력 이미지에 따라 매개변수를 생성하여 모델이 특정 화질 저하에 동적으로 적응할 수 있도록 설계되었습니다.구체적으로, HAIR는 두 가지 주요 구성 요소, 즉 분류기(Classifier)와 하이퍼 선택 네트워크(Hyper Selecting Net, HSN)로 이루어져 있습니다. 분류기는 입력 이미지의 화질 저하 정보를 포함하는 전역 정보 벡터(Global Information Vector, GIV)를 생성하는 간단한 이미지 분류 네트워크입니다. HSN은 GIV를 입력으로 받아 해당 모듈에 대한 매개변수를 출력하는 간단한 완전 연결 신경망(fully-connected neural network)입니다. 광범위한 실험을 통해 HAIR가 플러그앤플레이 방식으로 기존 이미지 복원 모델들의 성능을 크게 향상시킬 수 있음을 확인하였으며, 단일 작업과 올인원 설정 모두에서 이를 입증하였습니다.특히, 잘 알려진 Restormer에 HAIR를 통합한 우리의 제안 모델 Res-HAIR는 현재 최신 방법들과 비교해 우수하거나 비슷한 성능을 보임을 확인하였습니다. 또한, 이론적으로 특정 충분히 작은 오차를 달성하기 위해서는 우리의 제안된 HAIR가 주류 임베딩 기반 올인원 방법들보다 더 적은 매개변수가 필요함을 증명하였습니다. 코드는 https://github.com/toummHus/HAIR에서 제공됩니다.