대비 학습을 이용한 이미지 품질 평가

자기지도 방식(self-supervised)으로 이미지 품질 표현을 얻는 문제를 고려한다. 우리는 합성 및 현실적인 왜곡이 혼합된 레이블이 없는 이미지 데이터셋에서 특징을 학습하기 위해 왜곡 유형과 정도 예측을 보조 과제(auxiliary task)로 사용한다. 이후 대조적 쌍(pairwise) 목적함수를 사용하여 깊은 합성곱 신경망(Convolutional Neural Network, CNN)을 학습하여 이 보조 과제를 해결한다. 제안하는 학습 프레임워크와 최종적으로 도출된 깊은 이미지 품질 평가 모델을 'CONTRastive Image QUality Evaluator'(CONTRIQUE)라고 명명한다. 평가 단계에서는 CNN 가중치를 고정하고, 선형 회귀기(linear regressor)를 사용하여 학습된 표현을 비참조(No-Reference, NR) 환경에서 품질 점수로 매핑한다. 광범위한 실험을 통해 CONTRIQUE가 최신의 NR 이미지 품질 모델들과 비교해 경쟁 가능한 성능을 달성함을 보여주며, CNN 백본의 추가 미세조정(fine-tuning) 없이도 우수한 성능을 발휘함을 확인했다. 학습된 표현은 합성 왜곡 또는 실제 왜곡이 발생한 이미지에 대해 매우 강건하고 잘 일반화됨을 확인하였다. 본 연구 결과는 대규모 레이블이 부여된 주관적 이미지 품질 데이터셋을 요구하지 않고도, 인지적 관련성이 높은 강력한 품질 표현을 얻을 수 있음을 시사한다. 본 논문에서 사용된 구현 코드는 \url{https://github.com/pavancm/CONTRIQUE}에서 공개되어 있다.