초록
자동 감각적 이미지 품질 평가는 매일 수십억 명의 인터넷 및 소셜 미디어 사용자에게 영향을 미치는 도전적인 문제이다. 이 분야의 연구를 촉진하기 위해, 우리는 비지도 학습 환경에서 고수준의 콘텐츠 특징과 저수준의 이미지 품질 특징을 각각 학습할 수 있도록 두 개의 별도 인코더를 훈련시키는 전문가 혼합(Mixture of Experts) 접근법을 제안한다. 본 연구의 독창적인 특징은 고수준의 이미지 콘텐츠를 나타내는 특징과 보완적인 저수준의 이미지 품질 표현을 생성할 수 있다는 점이다. 두 인코더를 훈련하는 데 사용된 프레임워크를 Re-IQA라고 명명한다. 실제 환경에서의 이미지 품질 평가를 위해, Re-IQA 프레임워크를 통해 얻은 보완적인 저수준 및 고수준 이미지 표현을 활용하여 선형 회귀 모델을 훈련시킨다. 이 모델은 이미지 표현을 실제 품질 점수에 매핑하는 데 사용되며, 그림 1을 참조하라. 제안한 방법은 실제 및 합성 왜곡을 포함하는 여러 대규모 이미지 품질 평가 데이터베이스에서 최신 기술 수준의 성능을 달성하였으며, 깊은 신경망이 비지도 학습 환경에서도 감각적으로 의미 있는 표현을 생성할 수 있음을 보여준다. 실험 결과를 바탕으로, 저수준과 고수준 특징이 실제로 보완적인 관계에 있으며, 선형 회귀 모델의 성능에 긍정적인 영향을 미친다는 것을 확인할 수 있었다. 본 연구와 관련된 모든 코드는 공개적으로 GitHub에 배포될 예정이다.