Ils Ont Utilisé Des Réseaux Neuronaux Convolutifs Pour Découvrir Les Secrets Cachés Dans Des Peintures Célèbres

Le célèbre trésor artistique « l'Agneau mystique » fait l'objet d'une restauration massive pour que les gens puissent aujourd'hui ressentir la lumière éclatante émanant de ce grand chef-d'œuvre. Avec les progrès de la technologie, l’introduction de la technologie numérique haute résolution et l’augmentation progressive des informations sur les données, la technologie de l’IA a pu démontrer ses capacités dans la restauration de peintures. Alors, quelles surprises la technologie de l’IA peut-elle apporter à la restauration de l’Agneau Mystique ?

Mots-clés:Tableaux de renommée mondiale, restauration de tableaux, génération d'images

L'Agneau Mystique (également connu sous le nom de L'Amour de l'Agneau Mystique) est un trésor national de Belgique, la peinture à l'huile la plus influente au monde à ce jour et le chef-d'œuvre le plus populaire dans le domaine de l'art.

Il a été achevé par les frères Van Eyck entre 1415 et 1432, ce qui a pris 18 ans. Il s'agit d'un immense tableau pliant composé de 20 panneaux intérieurs et extérieurs. Entièrement ouvert, il mesure 3,5 mètres de long et 4,7 mètres de large.

Mais précisément en raison de sa grande renommée, ce tableau a rencontré de nombreux malheurs depuis sa sortie.

De plus, en plus de la destruction humaine, il ne peut, comme de nombreux tableaux de renommée mondiale, échapper à l'érosion de la poussière, de l'humidité, etc., ce qui provoque la décoloration du tableau et la perte de son éclat. Par conséquent, le besoin de restauration des peintures devient de plus en plus urgent.

Récemment, l’University College London et l’Université Duke ont utilisé l’intelligence artificielle pour décoder des images radiographiques haute résolution de l’Agneau mystique. Les résultats de leurs recherches ont été publiés dans la revue Science Advances :« L’intelligence artificielle pour l’investigation artistique : relever le défi de la séparation des images radiographiques du retable de l’Agneau mystique ».

Cette recherche devrait améliorer notre compréhension des chefs-d’œuvre artistiques et offrir de nouvelles opportunités d’investigation, de conservation et d’exposition de l’art. 

Le célèbre tableau est abîmé et le projet de restauration est énorme

Un retable est une peinture composite sur un panneau de bois qui est placé devant l'autel dans une église à des fins décoratives. L'Agneau Mystique est basé sur la Bible et représente des scènes classiques de celle-ci, couvrant plus de 100 personnages. Ce travail est égalementL'œuvre pionnière de la peinture à l'huile moderne.Dans leur création, les frères Van Eyck ont expérimenté pour la première fois la coloration à l'huile, en utilisant de nouvelles peintures, résines et émulsions pour garder l'image fraîche et durable. De plus, il est devenu un trésor de la génération en raison de son rendu des matériaux et des textures, ainsi que de sa composition exquise et complexe.

Depuis sa première exposition en 1432, l'Agneau Mystique a été volé sept fois et impliqué dans 13 formes de crimes différentes, ce qui en fait le tableau célèbre le plus volé. À ce jour, un panneau manque encore.

De plus, comme d’autres trésors artistiques, il a également résisté à l’épreuve du temps. La peinture originale a été ravagée par des années de poussière et d’érosion, et son lustre et sa qualité d’image ont été compromis.

Les vernis à base de résines naturelles, voire de matières synthétiques, utilisés en peinture à l'huile se dégradent et jaunissent avec le temps, devenant troubles. Cela provoque un flou de la surface et modifie considérablement l’équilibre tonal et la sensation de profondeur de l’image.

C'est pourquoi l'Agneau Mystique a été nettoyé et restauré à plusieurs reprises. Lors d'une restauration, le personnel a été surpris de constater que le tableau comportait trois couches et que la zone repeinte atteignait 70 %, ce qui signifie que le tableau a subi deux restaurations majeures non enregistrées.

En octobre 2012, après une évaluation détaillée, le musée a entamé un vaste projet de restauration. Les experts ont également décidé de modifier l'objectif de la restauration, passant de « restaurer la couleur du tableau » à « restaurer l'apparence originale du tableau ».

Ces travaux nécessiteront beaucoup de main-d'œuvre et de ressources financières et devraient être achevés dès 2020. Le processus de restauration comprend l'élimination de la poussière et du vernis de surface, la restauration de la couleur du tableau et comprend également divers processus de numérisation et d'imagerie pour créer des modèles électroniques.

Il va sans dire que c’est une tâche difficile. Et maintenant, Le développement de la technologie de l’IA contribue aux travaux de restauration.

Défi de restauration : interprétation des images radiographiques

Dans la restauration de peintures, il existe déjà des cas d'apprentissage automatique matures, notamment la reconnaissance matérielle des différentes couches de l'image, la restauration d'images numériques de fissures, la conception cachée et la présentation visuelle.

Lors de la restauration de l'Agneau mystique, des chercheurs de l'University College London et de l'Université Duke ont récemmentGrâce à l’apprentissage profond, nous avons résolu les problèmes techniques liés à la numérisation d’images radiographiques. La radiographie aux rayons X (XR) est une méthode importante dans la restauration de peintures. Il utilise le principe selon lequel différents matériaux absorbent les rayons X à des degrés divers et peuvent révéler des détails cachés dans les peintures.

Dans le cadre des travaux de restauration de l'Agneau Mystique, l'établissement d'une image radiographique complète constitue également une étape importante de la restauration. Les images radiographiques peuvent aider aux travaux de restauration en montrant des fissures cachées dans la couche transparente ou la couche de couverture, l'usure de la peinture ou d'autres zones structurelles.

De plus, les images numérisées peuvent révéler au personnel les méthodes de travail de l’artiste, révélant la structure physique de la toile ou du panneau et de son support, ainsi que les différents revêtements utilisés dans sa création.

Mais pour des œuvres telles que l’Agneau mystique, l’interprétation de ses images radiographiques est confrontée à un défi de taille.

Dans l'Agneau Mystique, plusieurs panneaux présentent des motifs peints sur les deux faces. Les scanners à rayons X produisent des modèles d'absorption tridimensionnels complexes, mais ils sont finalement enregistrés sous forme de fichiers bidimensionnels, de sorte qu'il en ressort une image mixte et complexe.

Cela comprend de multiples informations, telles que la morphologie de la surface peinte, la structure montrant les supports en chêne, le grain du bois, l'emplacement des clous en bois, ainsi que les fissures et l'usure de la couche de peinture. Afin d’obtenir des informations précieuses, il est nécessaire de séparer les différentes couches de l’image à analyser des informations désordonnées.

Cela pose un énorme problème d'interprétation, et le défi est de savoir comment séparer l'image radiographique double face mixte en images radiographiques individuelles des peintures « simple face » correspondantes.

La solution : les réseaux de neurones convolutifs

Pour résoudre ce problème, une équipe de recherche de l'University College London et de l'Université Duke, avec le soutien de l'Institut royal du Patrimoine artistique de Belgique et de la Fondation Simons, a lancé une étude proposant uneUn cadre auto-supervisé basé sur un réseau neuronal convolutif (CNN),Je l'ai parfaitement craqué.

L'image mixte obtenue par rayons X est en fait une combinaison non linéaire des images des deux côtés du panneau. Le cœur de cette étude est d’utiliser la modélisation pourTrouver la correspondance entre le motif mixte final et les informations de chaque côté,À l'aide de quelques détails, les signaux de rayons X sont séparés.

Ainsi, leur idée se transforme, dans un environnement source entièrement supervisé, à partir d'un ensemble d'entraînement contenant des signaux mixtes et individuels (peut-être des peintures différentes dessinées par le même artiste dans un style similaire),Laissez l’algorithme analyser et apprendre la correspondance entre l’image mixte et le signal source.

À cette fin, ils ont conçu unRéseaux de neurones auto-supervisés,Il apprend à convertir une image RVB en une image radiographique, qui est ensuite « reconstruite » comme une image virtuelle d'un seul panneau, puis apprend à réaliser cette séparation en minimisant l'erreur de l'image radiographique reconstruite et en comparant la différence avec l'image radiographique mixte d'origine.

Au lieu d'utiliser une grande quantité de données étiquetées, l'ensemble du processus utilise des images haute résolution (permettant la création d'un grand nombre de patchs d'entrée) et entraîne le réseau sur la base d'étiquettes implicites.

En détail, ils ont construitCNN à sept couches,Chaque couche convolutive est séparée par des couches de normalisation par lots et d'activation d'unité linéaire rectifiée (ReLU). La structure du réseau est inspirée de la structure pix2pix (pix2pix utilise des réseaux contradictoires conditionnels pour la traduction d'image en image). Après la formation, le modèle prend une image radiographique mixte en entrée et génère deux images de panneau distinctes.

La nouvelle méthode, appliquée à deux séries distinctes d’images de test, a reproduit les détails individuels d’Adam et Eve dans le panneau avec une clarté bien plus grande que prévu. 

L'intelligence artificielle permet aux trésors artistiques de durer plus longtemps

Grâce à leurs recherches, le problème de la séparation des motifs de rayons X a été parfaitement résolu, et même les chercheurs ne s'attendaient pas à ce qu'une clarté aussi étonnante puisse être obtenue grâce à l'utilisation de méthodes d'apprentissage en profondeur.

Un chercheur a comparé avec enthousiasme ce processus à l’exploration en physique : grâce à des tentatives expérimentales, des résultats inattendus ont été trouvés, sans explication théorique pertinente.

Ensuite, l’équipe de recherche espère tester cette méthode sur d’autres chefs-d’œuvre célèbres : « Nous espérons voir des approches d’IA similaires aider à révéler d’autres caractéristiques cachées dans les peintures, comme la découverte de motifs cachés précoces. »

Quant au célèbre « Agneau Mystique », je crois qu’avec le soutien de la technologie de l’IA, il brillera sûrement plus rapidement de son éclat originel.