Un jeu de données et un modèle convolutif pour la classification de l'iconographie dans les peintures

L'iconographie en art est la discipline qui étudie le contenu visuel des œuvres d'art afin d'identifier leurs motifs et thèmes, ainsi que de caractériser la manière dont ceux-ci sont représentés. Il s'agit d'un domaine de recherche actif, mobilisé pour diverses finalités, notamment l'interprétation du sens, l'investigation des origines et de la diffusion dans le temps et l'espace des représentations, ainsi que l'analyse des influences entre artistes et œuvres. Avec la prolifération des archives numériques d'images artistiques, il devient possible d'appliquer des techniques de vision par ordinateur à l'analyse des œuvres d'art à une échelle inédite, ce qui peut soutenir la recherche et l'enseignement en iconographie. Dans cet article, nous introduisons un nouveau jeu de données de peintures destiné à la classification iconographique, et présentons les résultats quantitatifs et qualitatifs obtenus en appliquant un classificateur à réseaux de neurones convolutifs (CNN) à la reconnaissance de l'iconographie des œuvres. Le classificateur proposé obtient de bons résultats (71,17 % de précision, 70,89 % de rappel, 70,25 % de score F1 et 72,73 % de précision moyenne) dans la tâche d'identification des saints dans les peintures religieuses chrétiennes, une tâche rendue difficile par la présence de classes présentant des caractéristiques visuelles très similaires. Une analyse qualitative des résultats révèle que le CNN se concentre sur les motifs iconiques traditionnels qui caractérisent la représentation de chaque saint, et exploite ces indices pour parvenir à une identification correcte. L'objectif ultime de notre travail est de permettre l'extraction automatique, la décomposition et la comparaison des éléments iconographiques, afin de soutenir les études iconographiques et l'annotation automatique des œuvres d'art.