Bildästhetik-Rangnetzwerk mit Attributen und Inhaltsanpassung

Reale Anwendungen könnten von der Fähigkeit profitieren, eine feingranulare Rangfolge der Fotografieästhetik automatisch zu generieren. Bislang haben jedoch die meisten Methoden zur Analyse der Bildästhetik sich hauptsächlich auf die grobe, binäre Kategorisierung von Bildern in hoch- oder niedrigästhetische Kategorien konzentriert. In dieser Arbeit schlagen wir vor, ein tiefes Faltungsneuronales Netzwerk (Deep Convolutional Neural Network) zu lernen, um die Fotografieästhetik zu bewerten, wobei die relative Rangfolge der Fotografieästhetik direkt in der Verlustfunktion modelliert wird. Unser Modell integriert das gemeinsame Lernen sinnvoller fotografischer Attribute und Bildinhaltsinformationen, was dazu beitragen kann, das komplizierte Problem der Bewertung der Fotografieästhetik zu regularisieren.Um dieses Modell zu trainieren und zu analysieren, haben wir eine neue Ästhetik- und Attributdatenbank (Aesthetics and Attributes Database, AADB) zusammengestellt, die ästhetische Bewertungen und sinnvolle Attribute enthält, die von mehreren menschlichen Beurteilern jedem Bild zugewiesen wurden. Die anonymisierten Identitäten der Beurteiler werden über die Bilder aufgezeichnet, was es uns ermöglicht, durch eine neuartige Stichprobenstrategie bei der Berechnung des Rangverlusts von Trainingsbildpaaren die Inter-Beurteiler-Konsistenz auszunutzen. Wir zeigen, dass die vorgeschlagene Stichprobenstrategie sehr effektiv und robust ist gegenüber subjektiven Ästhetikaussagen von Individuen mit unterschiedlichen ästhetischen Vorlieben. Experimente demonstrieren, dass unser integratives Modell Ästhetikrangfolgen erzeugen kann, die stärker mit den menschlichen Bewertungen übereinstimmen. Um unser Modell weiter zu validieren, zeigen wir, dass durch einfache Schwellwertbildung der geschätzten Ästhetikbewertungen wir einen Stand-der-Technik-Klassifikationsleistung auf dem bestehenden AVA-Datensatz-Benchmark erreichen können.