Ein Datensatz und ein Faltungsmodell zur Ikonografieklassifikation in Gemälden

Die Ikonographie in der Kunst ist die Disziplin, die sich mit der Analyse des visuellen Inhalts von Kunstwerken befasst, um deren Motive und Themen zu identifizieren und die Weise ihrer Darstellung zu charakterisieren. Sie ist Gegenstand aktiver Forschung mit vielfältigen Zielen, darunter die Deutung von Bedeutungen, die Untersuchung der Entstehung und Verbreitung von Darstellungen im zeitlichen und räumlichen Kontext sowie die Analyse von Einflüssen zwischen Künstlern und Kunstwerken. Mit der zunehmenden Verfügbarkeit digitaler Archivdatenbanken von Kunstbildern eröffnet sich die Möglichkeit, Techniken der Computer Vision auf die Analyse von Kunstbildern in einer bisher nicht erreichten Skala anzuwenden, was die Forschung und Lehre in der Ikonographie unterstützen könnte. In diesem Beitrag stellen wir einen neuartigen Datensatz von Gemälden für die Klassifikation der Ikonographie vor und präsentieren quantitative sowie qualitative Ergebnisse der Anwendung eines Convolutional Neural Network (CNN)-Klassifikators zur Erkennung der Ikonographie in Kunstwerken. Der vorgeschlagene Klassifikator erzielt gute Leistungen (71,17 % Präzision, 70,89 % Recall, 70,25 % F1-Score und 72,73 % durchschnittliche Präzision) bei der Identifizierung von Heiligen in christlichen religiösen Gemälden – einer Aufgabe, die durch die hohe Ähnlichkeit der visuellen Merkmale verschiedener Klassen besonders herausfordernd ist. Die qualitative Analyse der Ergebnisse zeigt, dass das CNN sich auf die traditionellen ikonografischen Motive konzentriert, die jeweils einen Heiligen charakterisieren, und diese Hinweise nutzt, um eine korrekte Identifizierung zu erreichen. Das langfristige Ziel unserer Arbeit ist es, die automatisierte Extraktion, Zerlegung und Vergleichbarkeit ikonografischer Elemente zu ermöglichen, um die ikonographische Forschung und die automatische Annotation von Kunstwerken zu unterstützen.