2 个月前

基于深度学习的美学质量评估与语义信息

Kao, Yueying ; He, Ran ; Huang, Kaiqi
基于深度学习的美学质量评估与语义信息
摘要

人类在评估图像的美学质量时,通常会结合识别图像的语义内容。本文探讨了自动美学质量评估与语义识别之间的相关性问题。我们将评估问题作为多任务深度模型中的主要任务,并认为语义识别任务是解决这一问题的关键。基于卷积神经网络,我们采用了一个单一且简单的多任务框架,以高效利用美学和语义标签的监督信息。通过引入任务间关系学习,该框架进一步引入了一个相关项,不仅提供了关于两者之间相关性的有用见解,还提高了美学任务的评估准确性。特别是,开发了一种有效的策略来平衡这两个任务,有助于优化框架的参数。在具有挑战性的AVA数据集和Photo.net数据集上进行的大量实验验证了语义识别在美学质量评估中的重要性,并证明了多任务深度模型可以发现有效的美学表示,从而达到最先进的结果。