Deep Multi-Patch Aggregation Network für die Bildstil-, Ästhetik- und Qualitätsbewertung

Diese Arbeit untersucht Probleme der Bildstil-, Ästhetik- und Qualitätsbewertung, die feinabgestimmte Details aus hochauflösenden Bildern erfordern, und nutzt hierfür einen Ansatz des Trainings tiefgelegener neuronalen Netze. Bestehende tiefe konvolutionale neuronale Netze extrahieren in der Regel lediglich einen einzelnen Patch – beispielsweise eine verkleinerte Ausschnittsauswahl – aus jedem Bild als Trainingsbeispiel. Ein solcher Patch kann jedoch nicht immer eine vollständige Repräsentation des gesamten Bildes liefern, was während des Trainings zu Unsicherheiten führen kann. Wir schlagen einen neuen Ansatz des Trainings eines tiefen Multi-Patch-Aggregationsnetzwerks vor, der es ermöglicht, Modelle mit mehreren aus einem einzigen Bild generierten Patch-Teilen zu trainieren. Dies erreichen wir durch die Konstruktion mehrerer gemeinsam genutzter Spalten im neuronalen Netzwerk, denen jeweils mehrere Patch-Teile zugeführt werden. Vor allem stellen wir zwei neuartige Netzwerkschichten vor – eine Statistik-Schicht und eine Sortier-Schicht –, die die Aggregation dieser Patch-Teile unterstützen. Das vorgeschlagene tiefe Multi-Patch-Aggregationsnetzwerk integriert gemeinsame Merkmalslernprozesse und Funktionslernprozesse für die Aggregation in einem einheitlichen Rahmen. Wir belegen die Wirksamkeit des vorgeschlagenen Netzwerks anhand der drei Anwendungen: Bildstilerkennung, Kategorisierung der ästhetischen Qualität und Bildqualitätsschätzung. Die von uns mit den vorgeschlagenen Netzwerken trainierten Modelle übertrumpfen in allen drei Anwendungen signifikant die bisherigen State-of-the-Art-Methoden.