人类在评估图像时，通常会同时考虑其美学质量与语义内容的识别。本文研究了自动美学质量评估与语义识别之间的关联问题。我们将美学评估设定为多任务深度模型中的主任务，并提出语义识别任务是解决该问题的关键。基于卷积神经网络，我们采用一种单一且简洁的多任务框架，高效利用美学标签与语义标签的监督信息。为进一步建模两个任务间的内在关联，我们在框架中引入了任务间关系学习机制，从而加入一个关联项。该关联项不仅为两任务之间的相关性提供了有益的洞察，还提升了美学评估任务的准确性。特别地，我们提出了一种有效的策略，以平衡两个任务之间的权重，从而有助于优化整个框架的参数。在具有挑战性的AVA数据集和Photo.net数据集上的大量实验验证了语义识别在美学质量评估中的重要性，同时表明多任务深度模型能够挖掘出有效的美学表征，从而实现当前最先进的性能。