A-Lamp: 사진 미적 평가를 위한 적응형 레이아웃 인식 다중 패치 딥 컨볼루션 신경망

최근 깊은 합성곱 신경망(CNN)이 미적 평가에서 유망한 결과를 생성하는 것으로 나타났습니다. 그러나 이러한 깊은 CNN 방법의 성능은 종종 신경망이 고정된 크기의 입력만을 취급할 수 있다는 제약으로 인해 저해됩니다. 이 요구 사항을 충족하기 위해, 입력 이미지는 자르기(cropping), 왜곡(warping), 또는 패딩(padding)을 통해 변환되어야 하는데, 이는 이미지 구성에 변화를 주거나, 이미지 해상도를 낮추거나, 이미지를 왜곡할 수 있습니다. 따라서 원본 이미지의 미학성이 세부 정보와 전체적인 이미지 레이아웃의 잠재적인 손실로 인해 손상될 수 있습니다. 그러나 이러한 세부 정보와 전체적인 이미지 레이아웃은 이미지의 미학성을 평가하는 데 매우 중요합니다. 본 논문에서는 사진의 미적 평가를 위한 적응형 레이아웃 인식 다중 패치 합성곱 신경망(A-Lamp CNN) 구조를 제시합니다. 이 새로운 방안은 임의의 크기의 이미지를 처리할 수 있으며, 동시에 세부 정보와 전체적인 이미지 레이아웃에서 학습할 수 있습니다. 이러한 하이브리드 입력에 대한 학습을 가능하게 하기 위해, 우리는 전용 두 개의 서브넷 구조인 다중 패치 서브넷과 레이아웃 인식 서브넷을 개발하였습니다. 또한, 우리는 이 두 서브넷에서 추출된 하이브리드 특징들을 효과적으로 결합하기 위한 집계 계층을 구성하였습니다. 대규모 미적 평가 벤치마크(AVA)에서 수행된 광범위한 실험들은 기존 최신 기술보다 사진의 미적 평가 성능에 있어 상당한 향상을 보여주었습니다.