彼らは畳み込みニューラル ネットワークを使用して、有名な絵画に隠された秘密を発見しました。

有名な芸術の宝「ゲントの祭壇画」は、今日の人々がこの偉大な傑作から発せられる輝かしい光を感じることができるように、大規模な修復作業が行われています。技術の進歩、高解像度のデジタル技術の介入、データ情報の徐々に増加に伴い、AI技術は絵画修復でもその才能を発揮することができます。それでは、AI テクノロジーはゲントの祭壇画の修復にどのような驚きをもたらすことができるでしょうか?

キーワード:世界の名画 絵画修復画像生成

「ゲントの祭壇画」（別名「不思議な子羊の愛」）はベルギーの国宝であり、これまで世界で最も影響力のある油絵であり、芸術界で最も注目を集めている傑作でもあります。分野。

ファン・エイク兄弟によって1415年から1432年までの18年をかけて完成されました。20枚の内外のパネルで構成された巨大な折り畳み式の絵画で、完全に開くと長さ3.5メートル、幅4.7メートルになります。

しかし、その名声の高さゆえに、この絵は出版以来、多くの不幸に見舞われてきました。

さらに、多くの世界的に有名な絵画と同様に、人為的な損傷に加えて、ほこりや湿気などの浸食から逃れることができず、絵画が変色し、光沢が失われます。したがって、絵画の修復の必要性はますます高まっています。

最近、ロンドン大学とデューク大学は、人工知能を使用してゲントの祭壇画の高解像度 X 線画像を解読し、その研究結果が学術雑誌「Science Advances」に掲載されました。「芸術調査のための人工知能: ゲントの祭壇画の X 線画像を分離するという課題に取り組む」。

この研究は、芸術の傑作に対する理解を深め、芸術の調査、保存、展示に新たな機会を提供することを約束します。 

名画は傷だらけ、修復プロジェクトは大規模

祭壇画とは、木の板に描かれ、装飾のために教会の祭壇の前に置かれる合成絵画です。 「ゲントの祭壇画」は聖書に基づいており、そこに登場する古典的な場面が描かれており、100 人以上の登場人物が描かれています。この作品も、近代油絵の先駆的作品であり、ファン・エイク兄弟は、その制作において、絵画を長期間新鮮に保つために新しい絵の具、ロジン、乳剤を使用して初めて油彩を実験しました。また、その素材と質感の表現でも有名になりました。 、そしてその絶妙で複雑な構成は世代を超えた宝物です。

「ゲントの祭壇画」は 1432 年に初めて展示されて以来、7 回盗難に遭い、13 の異なる形態の犯罪事件に巻き込まれており、現在に至るまで最も盗難された有名な絵画です。

さらに、他の美術品と同様に、時の試練を経てきました。オリジナルの絵画は長年の埃や変質によって破壊され、その光沢と外観は損なわれていました。

油絵の場合、天然樹脂や合成材料で作られたワニスは時間の経過とともに劣化し、黄色くなり、曇ってしまいます。表面のぼやけにより、画像の階調バランスや画像の重なり感が大きく変化します。

そのため、ゲントの祭壇画は何度も洗浄と修復が行われましたが、ある修復中にスタッフは、絵画が 3 層であり、再塗装された面積が 70 % であることに気づき、驚きました。これは、絵画が 2 回損傷したことを意味します。大規模な修復。

詳細な評価を経て、2012 年 10 月から博物館は大規模な修復プロジェクトを開始しました。専門家らは修復目標を「絵画の色の復元」から「絵画の本来の外観の復元」に変更することも決定した。

この作業には多大な人的資源と資金が必要であり、早ければ2020年にも完了する予定です。修復プロセスには、表面のほこりやニスの除去、絵画の色の復元が含まれ、電子モデルを作成するためのさまざまなスキャンおよびイメージングのプロセスも含まれます。

言うまでもなく、これは難しい仕事です。そして今、 AI技術の発展が補修作業に貢献しています。

難しい問題の解決: X 線画像の解釈

絵画修復では、さまざまなレベルの絵の素材識別、亀裂のデジタル画像修復、隠されたデザインと視覚的プレゼンテーションなど、すでに成熟した機械学習の事例がいくつかあります。

ゲントの祭壇画の修復において、ロンドン大学とデューク大学の研究者らは最近、深層学習を使用して、X 線画像スキャンの技術的問題を解決します。 X線写真(XR)は絵画修復において重要な手法です。これは、異なる素材が異なる程度で X 線を吸収するという原理を利用して、絵画の隠された細部を明らかにします。

ゲントの祭壇画の修復作業では、完全な X 線写真を確立することも修復の重要なステップです。 X 線画像は、ワニスやカバーコートが構造領域の亀裂、塗装の磨耗、その他の問題を隠している場所を示すため、修復作業に役立ちます。

さらに、スキャンされた画像により、アーティストの作業方法がスタッフに明らかになり、キャンバスやパネルとそのサポートの物理的構造、およびその作成に使用されたさまざまなコーティングが明らかになります。

しかし、ゲントの祭壇画のような作品は、X 線画像の解釈において厳しい試練に直面しています。

ゲントの祭壇画では、いくつかのパネルの表と裏にパターンが描かれており、X 線スキャンにより複雑な 3 次元の吸収パターンが明らかになり、最終的には 2 次元のファイルとして記録されたため、複雑な画像が混在して出現しました。

これには、オーク材の支柱の構造を示す塗装表面の地形、木目、ダボの位置、塗装層の亀裂や摩耗など、複数の情報が含まれます。価値のある情報を取得するには、分析する情報の個々の層を分離する必要があります。

これは大きな解釈上の問題を引き起こし、混合された両面 X 線画像を、対応する「片面」絵画の個別の X 線画像にどのように分離するかが課題となります。

亀裂: 畳み込みニューラル ネットワーク

この問題を解決するために、ロンドン大学とデューク大学の研究チームは、王立ベルギー遺産文化研究所とサイモンズ財団の支援を受けて研究を開始し、次のことを提案しました。畳み込みニューラル ネットワーク (CNN) に基づく自己教師型フレームワーク、完璧に割れました。

X 線によって得られる混合画像は、実際にはパネルの両側の画像の非線形結合です。この研究の核心はモデリングにあります。最終的なブレンド パターンと各サイド情報の間のマッピングを見つけます。次に、いくつかの詳細を利用して、X 線信号が分離されます。

したがって、彼らのアイデアは、完全に監視されたソース設定で、混合物と単一の信号 (おそらく同じアーティストによって同様のスタイルで描かれた異なる絵画) を含むトレーニング セットから変換されます。混合された画像とソース信号の間の対応関係をアルゴリズムに分析させて学習させます。

この目的のために、彼らは自己教師ありニューラルネットワーク、RGB 画像を X 線画像に変換し、それを単一パネルの仮想画像として「再構築」する方法を学び、再構築された X 線画像の誤差を最小限に抑えて比較することでこれを達成することをモデルに学習させます。元の混合 X 線画像との違い。

大量のラベル付きデータを使用する代わりに、プロセス全体で高解像度の画像が使用され (多数の入力パッチの作成が可能)、暗黙的なラベルに基づいてネットワークがトレーニングされます。

具体的には、彼らが構築したのは、7層CNN、各畳み込み層の間には、バッチ正規化層と修正線形単位 (ReLU) 活性化層があります。ネットワークの構造は、pix2pix の構造からインスピレーションを得ています (pix2pix は、画像間の変換に条件付き敵対的ネットワークを使用します)。トレーニング後、モデルは混合 X 線画像を入力し、2 つの別々のパネル画像を出力できます。

この新しい手法は、2 つの独立したテスト画像セットに適用され、パネル内の「アダム」と「イブ」の個々の詳細が非常によく再現され、予想をはるかに上回る鮮明さでした。 

人工知能により美術品が長持ちします

彼らの研究により、X 線パターンの分離の問題が完全に解決されました。ディープラーニング手法によってこれほど驚くべき明瞭さが得られるとは、研究者たちも予想していませんでした。

ある研究者は、このプロセスを物理学の探求に興奮して例えました。実験の試みを通じて、関連する理論的説明のない予想外の結果が見つかりました。

次に、研究チームはこの方法を他の有名な傑作でも試してみたいと考えています。 「同様の人工知能の手法が、初期の隠されたデザインの発見など、絵画の他の隠された特徴を明らかにするのに役立つことを期待しています。」

有名な「ゲントの祭壇画」については、AI技術の恩恵を受けて、きっと早く光を放つと思います。