속성과 콘텐츠 적응을 이용한 사진 미학 순위 네트워크

실세계 응용 프로그램은 사진의 미적 가치를 자동으로 세밀하게 순위 매기는 능력에서 혜택을 받을 수 있다. 그러나 이전의 이미지 미적 가치 분석 방법들은 주로 이미지를 고미적 가치와 저미적 가치 범주로 나누는 거친 이진 분류에 초점을 맞추어 왔다. 본 연구에서는 사진의 미적 가치를 순위 매기기 위해 깊은 합성곱 신경망(Deep Convolutional Neural Network)을 학습하는 방법을 제안한다. 여기서는 손실 함수에서 직접 사진의 상대적인 미적 가치 순위를 모델링한다. 우리의 모델은 의미 있는 사진 속성과 이미지 내용 정보를 통합하여 학습함으로써 복잡한 사진 미적 가치 평가 문제를 규제할 수 있다.이 모델을 훈련하고 분석하기 위해, 우리는 새로운 미학 및 속성 데이터베이스(AADB)를 구성하였다. 이 데이터베이스에는 여러 인간 평가자들이 각 이미지에 할당한 미적 점수와 의미 있는 속성이 포함되어 있다. 익명화된 평가자의 식별 정보가 이미지 간에 기록되어 있어, 훈련 이미지 쌍의 순위 손실을 계산할 때 새로운 샘플링 전략을 사용하여 평가자 내 일관성을 활용할 수 있다. 우리는 제안된 샘플링 전략이 다양한 미적 취향을 가진 개인들의 주관적인 이미지 미적 가치 판단에도 매우 효과적이고 견고하다는 것을 보여준다. 실험 결과, 우리의 통합 모델은 인간 평가와 더 일치하는 미적 순위를 생성할 수 있음을 입증하였다. 또한, 추정된 미적 점수에 단순히 임계값을 적용함으로써 기존 AVA 데이터셋 벤치마크에서 최신 수준의 분류 성능을 달성할 수 있다는 것을 통해 우리의 모델을 더욱 검증하였다.