Effektive Ästhetikvorhersage mit mehrstufigen räumlich zusammengefassten Merkmalen

Wir schlagen einen effektiven tiefen Lernansatz zur Ästhetikqualitätsbewertung vor, der auf einer neuen Art von vortrainierten Merkmalen basiert, und wenden ihn auf den AVA-Datensatz an, die aktuell größte Ästhetikdatenbank. Während frühere Ansätze aufgrund des Verwendens kleiner Ausschnitte, der Verkleinerung oder Verformung der Originalbilder während des Trainings Teile der Information in den ursprünglichen Bildern verlieren, präsentieren wir die erste Methode, die effizient vollständige Auflösungen als Eingabe unterstützt und mit variablen Eingabegrößen trainiert werden kann. Dies ermöglicht es uns, den Stand der Technik erheblich zu verbessern und den Spearman-Rangkorrelationskoeffizienten (SRCC) der aus dem Datensatz abgeleiteten mittleren Meinungsbewertungen (MOS) von dem bisher besten gemeldeten Wert von 0,612 auf 0,756 zu erhöhen. Um diese Leistung zu erreichen, extrahieren wir mehrstufige räumlich gepoolte (MLSP) Merkmale aus allen Faltungsblöcken eines vortrainierten InceptionResNet-v2-Netzwerks und trainieren eine benutzerdefinierte flache Architektur eines Faltungsneuralnetzes (CNN) auf diesen neuen Merkmalen.