그들은 합성곱 신경망을 사용하여 유명 그림에 숨겨진 비밀을 발견했습니다.

유명한 미술품인 "겐트 제단화"는 오늘날 사람들이 이 위대한 걸작에서 나오는 찬란한 빛을 느낄 수 있도록 대대적인 복원 작업을 거치고 있습니다. 기술의 발전, 고해상도 디지털 기술의 도입, 데이터 정보의 점진적인 증가로 인해 AI 기술은 그림 복원 분야에서 그 역량을 입증할 수 있게 되었습니다. 그렇다면 AI 기술은 헨트 제단화 복원에 어떤 놀라움을 가져올 수 있을까?

키워드:세계 명화, 그림 복원, 이미지 생성

겐트 제단화(또는 신비한 어린 양의 사랑으로 알려짐)는 벨기에의 국보이며, 지금까지 세계에서 가장 영향력 있는 유화이며, 미술계에서 가장 인기 있는 걸작입니다.

이 건물은 반 에이크 형제가 1415년에서 1432년 사이에 완공했으며, 완공까지 18년이 걸렸습니다. 이 그림은 안쪽과 바깥쪽 패널 20개로 구성된 거대한 접이식 그림입니다. 완전히 펼치면 길이가 3.5m, 너비가 4.7m입니다.

하지만 이 그림은 엄청난 명성을 얻었기 때문에 공개된 이후로 많은 불행을 겪었습니다.

게다가 인간의 파괴 외에도 많은 세계적으로 유명한 그림과 마찬가지로 먼지, 습기 등으로 인한 침식을 피할 수 없어 그림이 변색되고 광택을 잃게 됩니다. 따라서 그림 복원의 필요성은 점점 더 시급해지고 있습니다.

최근, 런던대학교와 듀크대학교는 인공지능을 사용하여 겐트 제단화의 고해상도 X선 이미지를 디코딩했습니다. 그들의 연구 결과는 Science Advances 저널에 게재되었습니다."예술 조사를 위한 인공지능: 헨트 제단화의 엑스레이 이미지 분리 과제 해결"

이 연구는 예술 걸작에 대한 우리의 이해를 높이고 예술 조사, 보존 및 전시에 새로운 기회를 제공할 것으로 기대됩니다. 

유명한 그림이 흉터가 있고 복원 프로젝트가 거대합니다.

제단화는 교회의 제단 앞에 장식 목적으로 놓이는 나무 패널에 그려진 합성 그림입니다. 겐트 제단화는 성경을 바탕으로 하고 있으며, 100명 이상의 등장인물이 등장하는 성경의 고전적인 장면을 묘사하고 있습니다. 이 작업도현대 유화의 선구적인 작품.반 에이크 형제는 그림을 제작할 때 처음으로 유화를 실험했으며, 새로운 페인트, 수지, 에멀전을 사용하여 그림을 생생하고 오래 지속되게 유지했습니다. 또한, 소재와 질감의 표현, 정교하고 복잡한 구성으로 인해 세대의 보물이 되었습니다.

헨트 제단화는 1432년 처음 전시된 이래로 7번이나 도난당하고 13가지 범죄에 연루되어 가장 많이 도난당한 유명 그림이 되었습니다. 오늘날까지도 한 개의 패널이 사라진 상태입니다.

또한 다른 예술품과 마찬가지로 이 작품도 오랜 세월 동안 그 가치를 유지해 왔습니다. 원래 그림은 오랜 세월에 걸쳐 먼지와 침식으로 인해 훼손되었고, 광택과 그림의 품질이 저하되었습니다.

유화에 사용하는 천연 수지나 합성 소재로 만든 바니시는 시간이 지나면서 분해되어 노랗게 변하고 흐릿해집니다. 이로 인해 표면이 흐릿해지고, 이미지의 톤 밸런스와 깊이감이 크게 달라집니다.

따라서 겐트 제단화는 여러 차례 청소되고 복원되었습니다. 한 복원 작업 중에 직원들은 그림이 세 겹으로 되어 있고, 다시 칠한 부분이 70 %에 달하는 것을 보고 놀랐는데, 이는 이 그림이 기록되지 않은 두 번의 대대적인 복원 작업을 거쳤다는 것을 의미합니다.

2012년 10월, 박물관은 자세한 평가를 거쳐 광범위한 복원 프로젝트를 시작했습니다. 전문가들은 또한 복원 목표를 "그림의 색상을 복원하는 것"에서 "그림의 원래 모습을 복원하는 것"으로 바꾸기로 결정했습니다.

이 작업에는 많은 인력과 재원이 필요하며, 이르면 2020년에 완료될 예정입니다. 복원 과정에는 표면 먼지와 바니시 제거, 그림 색상 복원이 포함되며, 전자 모델을 만들기 위한 다양한 스캐닝 및 이미징 프로세스도 포함됩니다.

말할 것도 없이, 이것은 어려운 일입니다. 그리고 지금, AI 기술의 발전이 복원 작업에 기여하고 있습니다.

복원 과제: X선 이미지 해석

그림 복원 분야에서는 이미 그림의 다양한 층에 대한 재료 인식, 균열의 디지털 이미지 복원, 숨겨진 디자인 및 시각적 표현을 포함하여 성숙한 머신 러닝 사례가 몇 가지 있습니다.

최근 겐트 제단화 복원을 위해 런던대학교와 듀크대학교 연구진이우리는 딥러닝을 사용하여 X선 이미지 스캐닝의 기술적 문제를 해결했습니다. X선 방사선 촬영(XR)은 그림 복원에 중요한 방법입니다. 이 기술은 다양한 물질이 엑스선을 각기 다른 정도로 흡수한다는 원리를 이용하여 그림 속의 숨겨진 세부 사항을 드러낼 수 있습니다.

겐트 제단화 복원 작업에서 완전한 X선 사진을 촬영하는 것 역시 복원의 중요한 단계입니다. 엑스레이 이미지는 클리어코트나 커버코트의 숨겨진 균열, 페인트 마모 또는 기타 구조적 영역을 보여주어 복구 작업에 도움이 될 수 있습니다.

또한 스캔된 이미지를 통해 직원은 작가의 작업 방식을 파악할 수 있으며, 캔버스나 패널의 물리적 구조와 지지대, 그리고 제작에 사용된 다양한 코팅을 알 수 있습니다.

하지만 겐트 제단화와 같은 작품의 경우, 엑스레이 이미지를 해석하는 것은 엄청난 어려움에 직면합니다.

겐트 제단화에는 여러 패널의 양면에 패턴이 그려져 있습니다. 엑스레이 검사는 복잡한 3차원 흡수 패턴을 생성하지만 궁극적으로는 2차원 파일로 기록되므로 혼합되고 복잡한 이미지가 생성됩니다.

여기에는 페인트 표면의 형태, 참나무 지지대를 보여주는 구조, 나무결, 나무 못의 위치, 페인트 층의 균열 및 마모 등 여러 정보가 포함됩니다. 귀중한 정보를 얻으려면 분석할 그림의 개별 레이어와 복잡한 정보를 분리해야 합니다.

이는 엄청난 해석 문제를 야기하는데, 문제는 혼합된 양면 X선 이미지를 해당 "단면" 그림의 개별 X선 이미지로 분리하는 방법입니다.

해결책: 합성곱 신경망

이 문제를 해결하기 위해 벨기에 왕립문화유산연구소와 Simons Foundation의 지원을 받은 University College London과 Duke University의 연구팀은 다음과 같은 연구를 시작했습니다.합성곱 신경망(CNN)을 기반으로 한 자기 감독 프레임워크완벽하게 해결했어요.

X선으로 얻은 혼합 이미지는 실제로 패널 양쪽의 이미지를 비선형적으로 결합한 것입니다. 이 연구의 핵심은 모델링을 사용하는 것입니다.최종 혼합 패턴과 각 측면 정보 간의 매핑을 찾으세요.몇 가지 세부 사항의 도움으로 X선 신호가 분리됩니다.

따라서 그들의 아이디어는 완전히 감독되는 소스 설정에서 혼합 및 개별 신호(아마도 동일한 아티스트가 유사한 스타일로 그린 다른 그림)를 포함하는 훈련 세트에서 다음과 같이 바뀝니다.알고리즘이 혼합된 이미지와 소스 신호 사이의 대응 관계를 분석하고 학습하게 합니다.

이를 위해 그들은 다음을 설계했습니다.자기 감독 신경망,RGB 이미지를 X선 이미지로 변환하는 방법을 배우고, 이를 단일 패널의 가상 이미지로 "재구성"한 다음, 재구성된 X선 이미지의 오류를 최소화하고 그 차이를 원래 혼합된 X선 이미지와 비교하여 이러한 분리를 달성하는 방법을 학습합니다.

대량의 레이블이 지정된 데이터를 사용하는 대신, 전체 프로세스에서 고해상도 이미지를 사용하고(대량의 입력 패치 생성 가능) 암묵적 레이블을 기반으로 네트워크를 학습합니다.

자세히 말하면, 그들은 건설했다7층 CNN,각 합성곱 계층은 배치 정규화 계층과 ReLU(Rectified Linear Unit) 활성화 계층으로 구분됩니다. 네트워크의 구조는 pix2pix 구조에서 영감을 받았습니다(pix2pix는 이미지 간 변환을 위해 조건부 적대 네트워크를 사용합니다). 모델은 훈련 후 혼합된 X선 이미지를 입력으로 받아 두 개의 별도 패널 이미지를 출력합니다.

두 개의 별도 테스트 이미지 세트에 적용된 새로운 방법은 예상보다 훨씬 더 선명하게 패널에서 아담과 이브의 개별적인 세부 사항을 재현했습니다. 

인공지능이 예술품의 수명을 연장한다

이들의 연구를 통해 X선 패턴을 분리하는 문제가 완벽하게 해결되었으며, 연구자들조차도 딥러닝 방법을 사용하여 이처럼 놀라운 선명도를 얻을 수 있을 것이라고는 예상하지 못했습니다.

한 연구자는 이 과정을 물리학의 탐구에 비유하며 흥분했습니다. 실험적 시도를 통해 이론적 설명이 불가능한 예상치 못한 결과가 발견되었습니다.

연구팀은 앞으로 이 방법을 다른 유명 걸작에도 시도해 볼 계획이다. "우리는 유사한 AI 접근 방식이 그림 속 다른 숨겨진 특징을 밝히는 데 도움이 되기를 바랍니다. 예를 들어, 초기에 숨겨진 디자인을 발견하는 것과 같습니다."

유명한 "겐트 제단화"는 AI 기술의 지원을 받으면 분명 더 빨리 본래의 찬란함을 되찾을 것이라 믿습니다.