품질 인식 이미지-텍스트 정렬을 이용한 의견 무관 이미지 품질 평가

무참조 이미지 품질 평가(NR-IQA)는 고품질 참조 이미지가 없는 경우 인간의 인식과 일치하는 방법을 설계하여 이미지 품질을 측정하는 데 초점을 맞춥니다. 대부분의 최신 NR-IQA 접근 방식은 의견 인식형입니다. 즉, 학습을 위해 인간의 주석이 필요합니다. 이러한 의존성은 그들의 확장성과 광범위한 적용을 제한합니다. 이 한계를 극복하기 위해 우리는 QualiCLIP(품질 인식형 CLIP)를 제안합니다. QualiCLIP은 CLIP 기반의 자기 감독적이고 의견 인식하지 않는 접근 방식으로, 인간의 의견이 필요하지 않습니다.특히, 우리는 품질 인식형 이미지-텍스트 정렬 전략을 도입하여 CLIP이 품질 인식형 이미지 표현을 생성하도록 합니다. 깨끗한 이미지를 출발점으로 하여 점차적으로 강도를 증가시키며 합성적으로 저하시킵니다. 그런 다음, CLIP을 품질 관련 반의어 텍스트 프롬프트와의 유사성을 기준으로 이러한 저하된 이미지를 순위 매기도록 학습시킵니다. 동시에, 비슷한 내용과 동일한 수준의 저하를 가진 이미지에 대해 일관된 표현을 생성하도록 CLIP을 강제합니다.실험 결과, 제안된 방법은 다양한 왜곡 유형을 가진 여러 데이터셋에서 기존의 의견 인식하지 않는 접근 방식보다 개선되는 것으로 나타났습니다. 또한 인간 주석이 필요하지 않음에도 불구하고, QualiCLIP은 교차 데이터셋 실험에서 감독된 의견 인식형 방법들에 대해 우수한 성능을 보여주어 뛰어난 일반화 능력을 입증하였습니다. 코드와 모델은 https://github.com/miccunifi/QualiCLIP에서 공개적으로 이용할 수 있습니다.