MANIQA: 비참조 이미지 품질 평가를 위한 다차원 주의망

비참조 이미지 품질 평가(NR-IQA)는 인간의 주관적 인지에 부합하는 이미지의 감각적 품질을 평가하는 것을 목표로 한다. 그러나 기존의 NR-IQA 방법들은 GAN 기반 왜곡 이미지에 대해 정확한 품질 점수를 예측하는 데 여전히 부족한 실력을 보이고 있다. 이를 해결하기 위해, GAN 기반 왜곡에 대한 성능을 향상시키기 위해 다차원 주의망을 활용한 비참조 이미지 품질 평가(MANIQA)를 제안한다. 먼저 ViT를 통해 특징을 추출한 후, 전역적이고 국소적인 상호작용을 강화하기 위해 전치 주의 블록(TAB)과 스케일 스윈 트랜스포머 블록(SSTB)을 제안한다. 이 두 모듈은 각각 채널 차원과 공간 차원을 기반으로 주의 메커니즘을 적용한다. 이러한 다차원적 접근 방식을 통해, 모듈들은 전역적 및 국소적으로 이미지의 다양한 영역 간의 상호작용을 효과적으로 증대시킨다. 마지막으로, 각 패치의 점수에 따라 가중치를 부여하는 이중 분기 구조를 도입하여 최종 품질 점수를 예측한다. 실험 결과, MANIQA는 LIVE, TID2013, CSIQ, KADID-10K의 네 가지 표준 데이터셋에서 최첨단 기법들을 크게 앞지르는 성능을 보였다. 또한, NTIRE 2022 감각적 이미지 품질 평가 챌린지 트랙 2(비참조)의 최종 테스트 단계에서 1위를 차지했다. 코드와 모델은 https://github.com/IIGROUP/MANIQA 에서 제공된다.