기반 주의 다중 패치 집약을 이용한 이미지 미적 평가

시각 데이터의 미적 평가를 위한 지능형 시스템에서 이미지 속성과 장면 의미와 같은 명시적인 정보를 포함한 집계 구조는 효과적이고 인기가 있다. 그러나 수작업 라벨링 및 전문가 설계의 높은 비용으로 인해 유용한 정보가 제공되지 않을 수 있다. 본 논문에서는 이미지 미적 평가를 위한 새로운 다중 패치(MP) 집계 방법을 제안한다. 기존 최신 기법들이 다양한 시각적 속성을 활용하여 MP 집계 네트워크를 보강하는 것과 달리, 본 연구에서는 단지 미적 레이블(즉, 미적으로 긍정적 또는 부정적)만을 사용하여 모델을 엔드 투 엔드 방식으로 훈련한다. 이를 위해 각 패치의 가중치를 훈련 과정에서 적응적으로 조정하는 주의 기반 메커니즘을 도입하여 학습 효율성을 향상시켰다. 또한, 평균, 최소, 적응형이라는 세 가지 대표적인 주의 메커니즘을 기반으로 한 일련의 목적 함수를 제안하고, Aesthetic Visual Analysis(AVA) 벤치마크에서 그 효과를 평가하였다. 수치적 결과는 제안한 방법이 기존 기법들에 비해 크게 우수함을 보여준다. 추가적으로, 제거 실험(Ablation study)을 통해 제안된 주의 기반 목적 함수의 효과를 검증하고, 미적 평가 시스템 설계에 대한 통찰을 제공한다.