Sie Nutzten Convolutional Neural Networks, Um Die Geheimnisse Berühmter Gemälde Zu Entdecken

Der berühmte Kunstschatz „Genter Altar“ wird derzeit umfassend restauriert, um sicherzustellen, dass die Menschen heute das strahlende Licht spüren können, das von diesem großartigen Meisterwerk ausgeht. Mit dem technologischen Fortschritt, der Einführung hochauflösender Digitaltechnik und der allmählichen Zunahme an Dateninformationen konnte die KI-Technologie ihre Fähigkeiten bei der Gemälderestaurierung unter Beweis stellen. Welche Überraschungen kann die KI-Technologie also für die Restaurierung des Genter Altars mit sich bringen?

Schlüsselwörter:Weltberühmte Gemälde, Gemälderestaurierung, Bildgenerierung

Der Genter Altar (auch bekannt als „Die Liebe des Lamm Gottes“) ist ein Nationalheiligtum Belgiens, das bis heute einflussreichste Ölgemälde der Welt und das beliebteste Meisterwerk der Kunst.

Es wurde zwischen 1415 und 1432 von den Brüdern Van Eyck fertiggestellt, was 18 Jahre dauerte. Es handelt sich um ein riesiges Faltbild, das aus 20 Innen- und Außentafeln besteht. Im vollständig geöffneten Zustand ist es 3,5 Meter lang und 4,7 Meter breit.

Doch gerade wegen seiner großen Berühmtheit hat dieses Gemälde seit seiner Veröffentlichung viele Schicksalsschläge erlebt.

Darüber hinaus kann es, wie viele weltberühmte Gemälde, nicht nur durch die Zerstörung durch den Menschen, sondern auch durch die Erosion durch Staub, Feuchtigkeit usw. nicht verschont bleiben, wodurch das Bild seine Farbe verliert und seinen Glanz verliert. Daher wird die Notwendigkeit der Restaurierung von Gemälden immer dringlicher.

Vor Kurzem nutzten das University College London und die Duke University künstliche Intelligenz, um hochauflösende Röntgenbilder des Genter Altars zu entschlüsseln. Ihre Forschungsergebnisse wurden in der Fachzeitschrift Science Advances veröffentlicht:„Künstliche Intelligenz für die Kunstforschung: Die Herausforderung der Trennung von Röntgenbildern des Genter Altars meistern“.

Diese Forschung soll unser Verständnis künstlerischer Meisterwerke verbessern und neue Möglichkeiten für die Erforschung, Konservierung und Ausstellung von Kunst bieten. 

Das berühmte Gemälde ist beschädigt und das Restaurierungsprojekt ist riesig

Ein Altarbild ist ein zusammengesetztes Gemälde auf einer Holztafel, das in einer Kirche zu dekorativen Zwecken vor dem Altar angebracht wird. Der Genter Altar basiert auf der Bibel und stellt klassische Szenen daraus dar, die mehr als 100 Charaktere umfassen. Diese Arbeit ist auchDas Pionierwerk der modernen Ölmalerei.Bei ihrem Werk experimentierten die Brüder Van Eyck erstmals mit Ölfarben und verwendeten neue Farben, Harze und Emulsionen, um das Bild frisch und haltbar zu halten. Darüber hinaus ist es aufgrund seiner Material- und Texturwiedergabe sowie seiner exquisiten und komplexen Komposition zu einem Schatz der Generation geworden.

Seit seiner ersten Ausstellung im Jahr 1432 wurde der Genter Altar sieben Mal gestohlen und war in 13 verschiedene Arten von Verbrechen verwickelt, was ihn zum am häufigsten gestohlenen berühmten Gemälde macht. Bis heute fehlt noch eine Tafel.

Darüber hinaus hat es wie andere Kunstschätze auch die Zeiten überdauert. Das Originalgemälde wurde über Jahre hinweg durch Staub und Erosion beschädigt und sein Glanz sowie die Bildqualität wurden beeinträchtigt.

Lacke aus Naturharzen oder sogar synthetischen Materialien, die in der Ölmalerei verwendet werden, zersetzen sich mit der Zeit, vergilben und werden trüb. Dadurch wird die Oberfläche unscharf und die Tonwertbalance sowie die Tiefenwirkung des Bildes werden stark verändert.

Aus diesem Grund wurde der Genter Altar viele Male gereinigt und restauriert. Bei einer Restaurierung stellten die Mitarbeiter überrascht fest, dass das Gemälde aus drei Schichten bestand und die neu gemalte Fläche 70 % erreichte, was bedeutet, dass das Gemälde zwei nicht dokumentierten größeren Restaurierungen unterzogen wurde.

Im Oktober 2012 begann das Museum nach einer detaillierten Begutachtung mit einem umfangreichen Restaurierungsprojekt. Die Experten entschieden außerdem, das Ziel der Restaurierung von der „Wiederherstellung der Farbe des Bildes“ auf die „Wiederherstellung des ursprünglichen Aussehens des Gemäldes“ zu ändern.

Diese Arbeiten erfordern einen hohen personellen und finanziellen Aufwand und werden voraussichtlich bereits im Jahr 2020 abgeschlossen sein. Der Restaurierungsprozess umfasst das Entfernen von Oberflächenstaub und Firnis, die Wiederherstellung der Farbe des Gemäldes sowie verschiedene Scan- und Bildgebungsverfahren zur Erstellung elektronischer Modelle.

Es ist unnötig zu erwähnen, dass dies eine schwierige Aufgabe ist. Und jetzt, Die Entwicklung der KI-Technologie trägt zu Restaurierungsarbeiten bei.

Herausforderung bei der Restaurierung: Interpretation von Röntgenbildern

In der Gemälderestaurierung gibt es bereits einige ausgereifte Fälle des maschinellen Lernens, darunter die Materialerkennung verschiedener Bildebenen, die digitale Bildrestaurierung von Rissen, verstecktes Design und visuelle Präsentation.

Bei der Restaurierung des Genter Altars haben Forscher des University College London und der Duke University kürzlichMithilfe von Deep Learning haben wir die technischen Probleme beim Scannen von Röntgenbildern gelöst. Die Röntgenradiographie (XR) ist eine wichtige Methode bei der Gemälderestaurierung. Dabei wird das Prinzip genutzt, dass unterschiedliche Materialien Röntgenstrahlen in unterschiedlichem Maße absorbieren und dadurch verborgene Details in Gemälden sichtbar machen können.

Auch bei den Restaurierungsarbeiten des Genter Altars ist die Erstellung einer vollständigen Röntgenaufnahme ein wichtiger Schritt. Röntgenaufnahmen können bei Restaurierungsarbeiten hilfreich sein, indem sie versteckte Risse im Klarlack oder Decklack, Lackverschleiß oder andere strukturelle Bereiche aufzeigen.

Darüber hinaus können gescannte Bilder den Mitarbeitern Aufschluss über die Arbeitsmethoden des Künstlers geben, indem sie die physische Struktur der Leinwand oder Tafel und ihres Trägers sowie die verschiedenen Beschichtungen offenbaren, die bei ihrer Herstellung verwendet wurden.

Bei Werken wie dem Genter Altar stellt die Interpretation der Röntgenbilder jedoch eine große Herausforderung dar.

Mehrere Tafeln des Genter Altars sind auf beiden Seiten mit Mustern bemalt. Röntgenscans erzeugen komplexe dreidimensionale Absorptionsmuster, werden jedoch letztlich als zweidimensionale Dateien aufgezeichnet, sodass ein gemischtes, komplexes Bild entsteht.

Hierzu zählen vielfältige Informationen, wie beispielsweise die Morphologie der Lackoberfläche, die Struktur der Eichenholzträger, die Holzmaserung, die Lage der Holznägel sowie Risse und Abnutzungen in der Lackschicht. Um wertvolle Informationen zu erhalten, ist es notwendig, die einzelnen Schichten des zu analysierenden Bildes von den ungeordneten Informationen zu trennen.

Dies stellt ein großes Interpretationsproblem dar und die Herausforderung besteht darin, das gemischte doppelseitige Röntgenbild in einzelne Röntgenbilder der entsprechenden „einseitigen“ Gemälde zu trennen.

Die Lösung: Convolutional Neural Networks

Um dieses Problem zu lösen, startete ein Forschungsteam des University College London und der Duke University mit Unterstützung des Königlichen Instituts für Kulturerbe Belgiens und der Simons Foundation eine Studie, die Folgendes vorschlägt:Ein selbstüberwachtes Framework basierend auf einem Convolutional Neural Network (CNN),Habe es perfekt geknackt.

Das durch Röntgenstrahlen erhaltene Mischbild ist eigentlich eine nichtlineare Kombination der Bilder auf beiden Seiten der Platte. Der Kern dieser Studie besteht darin, Modellierung zu verwenden, umFinden Sie die Zuordnung zwischen dem endgültigen gemischten Muster und den Informationen auf jeder Seite.Mithilfe einiger Details werden die Röntgensignale getrennt.

Ihre Idee wird also in einer vollständig überwachten Quellumgebung aus einem Trainingssatz, der gemischte und individuelle Signale enthält (vielleicht verschiedene Gemälde desselben Künstlers in einem ähnlichen Stil),Lassen Sie den Algorithmus die Entsprechung zwischen dem gemischten Bild und dem Quellsignal analysieren und lernen.

Zu diesem Zweck entwarfen sie einSelbstüberwachte neuronale Netzwerke,Es lernt, wie ein RGB-Bild in ein Röntgenbild umgewandelt wird, das dann als virtuelles Bild eines einzelnen Panels „rekonstruiert“ wird, und lernt dann, diese Trennung zu erreichen, indem der Fehler des rekonstruierten Röntgenbilds minimiert und der Unterschied mit dem ursprünglichen gemischten Röntgenbild verglichen wird.

Anstatt eine große Menge beschrifteter Daten zu verwenden, nutzt der gesamte Prozess hochauflösende Bilder (wodurch die Erstellung einer großen Anzahl von Eingabepatches möglich ist) und trainiert das Netzwerk basierend auf impliziten Beschriftungen.

Im Einzelnen konstruierten sieSiebenschichtiges CNN,Jede Faltungsschicht ist durch Batch-Normalisierungs- und Rectified-Linear-Unit-(ReLU)-Aktivierungsschichten getrennt. Die Struktur des Netzwerks ist von der Pix2Pix-Struktur inspiriert (Pix2Pix verwendet bedingte kontradiktorische Netzwerke für die Bild-zu-Bild-Übersetzung). Nach dem Training verwendet das Modell ein gemischtes Röntgenbild als Eingabe und gibt zwei separate Panelbilder aus.

Die neue Methode, die auf zwei separate Testbildsätze angewendet wurde, reproduzierte die einzelnen Details von Adam und Eva im Panel mit weitaus größerer Klarheit als erwartet. 

Künstliche Intelligenz macht Kunstschätze länger haltbar

Durch ihre Forschung wurde das Problem der Trennung von Röntgenmustern perfekt gelöst, und selbst die Forscher hatten nicht erwartet, dass durch den Einsatz von Deep-Learning-Methoden eine solch erstaunliche Klarheit erreicht werden könnte.

Ein Forscher verglich den Prozess aufgeregt mit der Forschung in der Physik: Durch experimentelle Versuche wurden unerwartete Ergebnisse gefunden, für die es keine relevante theoretische Erklärung gab.

Als nächstes hofft das Forschungsteam, diese Methode an einigen anderen berühmten Meisterwerken ausprobieren zu können: „Wir hoffen, dass ähnliche KI-Ansätze dabei helfen werden, andere verborgene Merkmale in Gemälden aufzudecken, beispielsweise die Entdeckung früher verborgener Designs.“

Was den berühmten „Genter Altar“ betrifft, bin ich davon überzeugt, dass er mit Unterstützung der KI-Technologie sicherlich schneller in seinem ursprünglichen Glanz erstrahlen wird.