이미지 스타일, 아름다움, 품질 평가를 위한 딥 멀티패치 집계 네트워크

이 논문은 고해상도 이미지에서 세부적인 정보를 요구하는 이미지 스타일, 미학적 품질, 품질 평가 문제를 심층 신경망 학습 기법을 활용하여 탐구한다. 기존의 심층 합성곱 신경망은 주로 각 이미지에서 하나의 패치(예: 축소된 자르기 영역)를 추출하여 학습 예시로 사용하였다. 그러나 단일 패치는 항상 전체 이미지를 잘 대표하지 못할 수 있으며, 이는 학습 과정에서 모호성을 유발할 수 있다. 본 연구에서는 한 이미지에서 생성된 여러 패치를 활용하여 모델을 학습할 수 있는 심층 다중 패치 집계 네트워크 학습 방법을 제안한다. 이를 위해 신경망 내에 여러 개의 공유 컬럼을 구성하고, 각 컬럼에 여러 패치를 동시에 입력하는 방식을 도입하였다. 특히, 이러한 패치들을 효과적으로 집계하기 위해 두 가지 새로운 네트워크 레이어(통계 레이어 및 정렬 레이어)를 제안한다. 제안된 심층 다중 패치 집계 네트워크는 공유 특징 학습과 집계 기능 학습을 통합된 프레임워크 내에 통합하였다. 본 연구는 이미지 스타일 인식, 미학적 품질 분류, 이미지 품질 평가 세 가지 문제에 대해 제안된 네트워크의 효과성을 입증하였다. 제안된 방법을 활용해 학습된 모델은 모든 응용 분야에서 기존 최고 수준의 성능을 크게 초월하였다.