2 个月前

A-Lamp:用于照片美学评估的自适应布局感知多块深度卷积神经网络

Ma, Shuang ; Liu, Jing ; Chen, Chang Wen
A-Lamp:用于照片美学评估的自适应布局感知多块深度卷积神经网络
摘要

近年来,深度卷积神经网络(CNN)在美学评估方面展现出令人鼓舞的结果。然而,这些深度CNN方法的性能通常受到神经网络只能接受固定大小输入这一限制的影响。为了满足这一要求,输入图像需要通过裁剪、变形或填充等方式进行转换,这往往会导致图像构图改变、分辨率降低或图像失真。因此,由于潜在的细粒度细节损失和整体图像布局受损,原始图像的美学价值受到影响。然而,这些细粒度细节和整体图像布局对于评估图像的美学至关重要。在本文中,我们提出了一种自适应布局感知多块卷积神经网络(A-Lamp CNN)架构,用于照片美学评估。该创新方案能够接受任意大小的图像,并同时从细粒度细节和整体图像布局中学习。为了实现对这些混合输入的训练,我们开发了一种专门的双子网神经网络结构,即多块子网和布局感知子网。我们进一步构建了一个聚合层,以有效结合这两个子网提取的混合特征。在大规模美学评估基准数据集(AVA)上的广泛实验表明,该方法在照片美学评估方面的性能显著优于现有最先进方法。