Tiefe Ästhetische Qualitätseinschätzung mit semantischer Information

Menschen bewerten häufig die ästhetische Qualität eines Bildes im Zusammenhang mit der Identifizierung des semantischen Inhalts des Bildes. Diese Arbeit behandelt das Korrelationsproblem zwischen automatischer Ästhetikbewertung und semantischer Erkennung. Wir formulieren das Bewertungsproblem als Hauptaufgabe in einem mehrfachen tiefen Modell und argumentieren, dass die semantische Erkennungsaufgabe den Schlüssel zur Lösung dieses Problems darstellt. Auf Basis von Faltungsneuronalen Netzen (Convolutional Neural Networks) verwenden wir ein einzelnes und einfaches Mehrfachaufgaben-Framework, um die Überwachung durch ästhetische und semantische Labels effizient zu nutzen. Ein Korrelationsitem zwischen diesen beiden Aufgaben wird dem Framework durch die Integration des Lernens von intertask-Beziehungen hinzugefügt. Dieses Item bietet nicht nur wertvolle Einblicke in die Korrelation, sondern verbessert auch die Bewertungsgenauigkeit der ästhetischen Aufgabe. Insbesondere wurde eine effektive Strategie entwickelt, um ein Gleichgewicht zwischen den beiden Aufgaben aufrechtzuerhalten, was die Optimierung der Parameter des Frameworks erleichtert. Umfangreiche Experimente auf dem anspruchsvollen AVA-Datensatz und dem Photo.net-Datensatz bestätigen die Bedeutung der semantischen Erkennung bei der Ästhetikbewertung und zeigen, dass Mehrfachaufgaben-Tiefenmodelle eine effektive ästhetische Darstellung finden können, um Spitzenergebnisse zu erzielen.