PieAPP: 쌍방향 선호도를 통한 지각적 이미지 오류 평가

이미지 간의 지각 오차를 추정하는 능력은 컴퓨터 비전 분야에서 중요한 문제로, 다양한 응용 분야가 있습니다. 그러나 이 문제는 광범위하게 연구되었음에도 불구하고, 현재까지 인간처럼 시각적 차이를 견고하게 예측할 수 있는 방법은 존재하지 않습니다. 일부 이전 접근 방식에서는 수작업으로 설계된 모델을 사용했지만, 인간의 시각 체계의 복잡성을 모델링하는 데 실패했습니다. 다른 접근 방식에서는 기계 학습을 사용하여 인간이 라벨링한 데이터셋으로 모델을 훈련시켰지만, 대규모 고품질 데이터셋을 생성하는 것이 어렵습니다. 왜냐하면 사람들이 왜곡된 이미지에 일관된 오차 라벨을 할당하기 어려워서입니다.본 논문에서는 인간 관찰자와 같은 방식으로 지각 이미지 오차를 예측하는 새로운 학습 기반 방법을 제안합니다. 사람들이 각 이미지에 품질 점수를 할당하는 것보다 두 개의 주어진 이미지를 비교하고 참조 이미지와 더 유사한 것을 식별하는 것이 훨씬 쉽기 때문에, 우리는 사람들이 하나의 이미지를 다른 이미지보다 선호할 확률로 라벨링된 새로운 대규모 데이터셋을 제안합니다. 그런 다음, 이 데이터셋을 사용하여 새로운 쌍별 학습 프레임워크로 하나의 왜곡된 이미지를 다른 것으로 선호할 가능성을 예측하도록 딥러닝 모델을 훈련시킵니다.우리의 주요 관찰 결과는 훈련된 네트워크가 명시적인 인간 지각 오차 라벨 없이도 단일 왜곡된 이미지와 참조 이미지를 따로 사용하여 그 지각 오차를 예측할 수 있다는 것입니다. 우리의 새로운 메트릭인 PieAPP(Perceptual Image Error Assessment through Pairwise Preference)가 추정한 지각 오차는 인간 의견과 잘 상관관계를 보입니다. 또한, 이 메트릭은 기존 알고리즘들보다 크게 우수하며, 이진 오차율 측면에서 우리 테스트 세트에서 최신 기술보다 거의 3배나 더 좋은 성능을 보입니다. 또한, 이전 학습 기반 방법들과 달리 새로운 종류의 왜곡에도 일반화됩니다.