효율적인 훼손 적응을 통한 모든 것 복원 모델

모바일 기기의 확산에 따라 어떤 저화질 이미지든 효율적으로 복원할 수 있는 모델의 필요성이 점점 더 중요해지고 있습니다. 전통적인 접근 방식은 일반적으로 각 특정 저화질 상태에 대해 전용 모델을 훈련시키는 것이 포함되며, 이로 인해 비효율성과 중복성이 발생합니다. 최근의 해결책들은 시각적 프롬프트를 학습하기 위한 추가 모듈을 도입하여 모델 크기를 크게 증가시키거나, 대규모 데이터셋으로 훈련된 큰 언어 모델에서 다중 모달 전이를 통합하여 시스템 아키텍처에 복잡성을 추가하는 경우가 많습니다. 반면에, 우리의 접근 방식인 RAM은 다양한 저화질 상태 간의 본질적인 유사성을 활용하여 효율적이고 포괄적인 복원을 가능하게 하는 통합 경로를 취합니다. 이 방법은 모델 크기를 확대하거나 큰 다중 모달 모델에 의존하지 않고 공동 임베딩 메커니즘을 통해 이루어집니다.특히, 우리는 각 입력의 하위 잠재 공간(sub-latent space)을 검토하여 주요 구성 요소를 식별하고 게이트 방식으로 재가중(reweighting)합니다. 이러한 내재적 저화질 인식(intrinsic degradation awareness)은 X형 프레임워크(X-shaped framework)에서 문맥화된 어텐션(contextualized attention)과 결합되어 지역-전역 상호작용(local-global interactions)을 강화합니다. 모든 복원 설정(all-in-one restoration setting)에서 광범위한 벤치마킹 결과, RAM이 최고 수준(SOTA)의 성능을 보였으며, 학습 가능한 매개변수(trainable parameters)와 FLOPs(Floating Point Operations per Second) 측면에서 각각 약 82%와 85%의 복잡도 감소를 확인하였습니다. 우리의 코드와 모델은 공개될 예정입니다.