초록
이미지 복원은 저화질 관찰 이미지에서 고품질 이미지를 복원하는 것을 목표로 합니다. 기존의 대부분 방법들이 단일 화질 저하 제거에 집중되어 있어, 다른 유형의 화질 저하에 대해서는 최적의 결과를 내지 못하며 이는 실제 환경에서의 응용을 충족시키지 못합니다. 본 논문에서는 프롬프트 기반 학습을 활용하여 단일 모델이 여러 이미지 화질 저하 작업을 효율적으로 처리할 수 있는 새로운 데이터 구성 요소 지향 접근 방식을 제안합니다. 구체적으로, 인코더를 사용하여 특징을 추출하고, 화질 저하 특정 정보를 포함한 프롬프트를 도입하여 디코더가 다양한 화질 저하 영향을 받은 이미지를 적응적으로 복원하도록 안내합니다. 고품질 이미지 복원을 위해 국소 불변 성질과 비국소 정보를 모델링하기 위해 CNN 연산과 트랜스포머를 결합했습니다. 동시에, 트랜스포머 블록에서 몇 가지 주요 설계(다중 헤드 재배열 주의 메커니즘 with prompts 및 간단한 게이트 피드 포워드 네트워크)를 통해 계산 요구사항을 줄이고, 선택적으로 어떤 정보가 유지되어야 하는지를 결정하여 잠재적으로 선명한 이미지를 효율적으로 복원할 수 있도록 하였습니다. 또한, 다중 스케일 정보를 탐색하여 통합된 특징을 개선하기 위한 특징 융합 메커니즘을 통합하였습니다. 이렇게 형성된 밀접하게 연결된 계층 구조인 CAPTNet은 광범위한 실험을 통해 본 방법론이 최신 연구와 경쟁력을 갖음을 입증하였습니다.