HyperAI초신경

피카소는 그것들을 "숨겼고", AI는 그것들을 다시 "파내었다"

5년 전
정보
Dao Wei
特色图像

많은 예술 작품에는 현실의 표면 아래에 숨겨진 미묘한 비밀이 있습니다. 예를 들어, 피카소의 그림 중에는 새로운 그림으로 가려진 작품도 있습니다. X선 감지 및 신경 스타일 전송과 같은 기술의 도움으로 '숨겨진' 작품을 재현할 수 있습니다.

일반인은 피카소의 초상화에 얼마나 많은 비밀이 숨겨져 있는지 알아낼 수 없을지 모릅니다. 하지만 첨단 기술을 이용하면 그 수수께끼를 풀고 진실을 다시 볼 수 있습니다. AI도 이 분야에서 더 큰 역할을 하고 있습니다.

많은 유명 예술가들이 오래된 작품을 새로운 작품으로 리메이크했습니다. 구체적인 이유는 알 수 없지만, 페인트로 덮인 작품들은 역사의 긴 강물 속에서 사라졌습니다.

피카소의 초기 "청색 시대"의 고전 작품 중 다수는 이런 문제를 안고 있었습니다. 사람들은 그림 뒤에 숨은 진실을 밝히기 위해 다양한 방법을 시도했습니다. 얼마 전 진행된 한 연구에서는 AI 모델을 사용하여 원본 그림에서 숨겨진 초상화를 "벗겨냈습니다".

피카소의 청색시대의 숨겨진 비밀

세계적으로 유명한 거장 피카소는 생애 동안 여러 차례 스타일 변화를 겪었는데, 초기 단계 중 하나는 고전적인 "청색 시대"였습니다.

20세기 초, 피카소는 절친한 친구인 카를로스 카사게마스의 죽음으로 인해 우울한 파란색이나 청록색을 사용하여 그림을 그리는 실험을 시작했습니다. 대부분의 음악은 약간 씁쓸한 톤을 띠었고, 우울한 주제에 초점을 맞추었는데, 이를 "청색 시대"라고 불렀습니다.

The Old Guitarist는 현재 시카고 미술관에 있습니다.

이 시기의 가장 유명한 그림은 1903-1904년에 제작된 '늙은 기타리스트'인데, 낡은 옷을 입은 늙고 허약한 음악가가 거리에서 기타에 몸을 숙이고 있는 모습을 묘사하고 있습니다.

2012년에 한 큐레이터가 이 그림에 대한 엑스레이 검사를 실시한 결과, "늙은 기타리스트" 안에 실제로 다른 사람의 이미지가 들어 있다는 사실을 발견했습니다!

이후 적외선 감지 및 기타 방법을 사용하여 확인한 결과, 이 그림 아래에는 적어도 두 개의 서로 다른 작품이 있었으며, 숨겨진 그림에는 다음과 같은 그림이 있었습니다. 허리를 굽힌 늙은 여성, 젊은 어머니와 그녀 옆에 무릎을 꿇은 아이, 심지어 소까지 있었습니다.

세부 사항을 확대하면 여성의 이미지가 나타납니다.

엑스레이는 실제 색상을 드러냅니다

미술사에서도 고전 작품 중에는 이런 '그림 속의 그림'과 같은 상황이 있습니다. 화가가 만족하지 못했거나, 캔버스를 절약하기 위해(이 두 가지는 반 고흐의 작품에서 가장 흔했습니다), 또는 논란이 되는 내용을 수정하기 위해 오래된 작품은 새로운 작품으로 대체되었습니다.

시간의 흔적이 있는 이러한 작업은 X선 탐지를 통해 그 진정한 모습을 "노출"할 수 있습니다.

직원들이 그림에 대한 엑스레이 스캐닝을 실시하고 있다

엑스선 분석은 그림의 검사와 복원에 중요한 방법입니다. 다양한 물질이 X선을 다르게 흡수한다는 원리를 이용하면, 색칠 시기, 사용된 재료 등 그림 속의 숨겨진 세부 사항을 밝혀낼 수 있습니다.

기술이 발전함에 따라 더 많은 세부 사항이 밝혀지고 숨겨진 그림이 모습을 드러냅니다.

다양한 매개변수에 따른 "The Old Guitarist"의 X선 패턴

엑스레이 탐지기로 윤곽은 볼 수 있지만, 관객에게는 이러한 숨겨진 패턴이 외부 페인트에 완전히 가려져 있어 인간의 눈으로는 인식하기 어렵고 색상 세부 사항은 더더욱 인식하기 어렵습니다.

어떻게 하면 이미 덧칠해진 걸작을 재현하고 거장들의 노고를 다시 세상에 알릴 수 있을까? 일부 기업은 AI의 힘에 주목하기 시작했습니다.

연구팀은 "인디아나 존스 홉킨스 대학교의 잃어버린 예술을 찾아서"라는 논문에서 엑스선 사진과 AI를 결합하여 "늙은 기타리스트"에 숨겨진 그림의 원래 모습을 재구성하는 방안을 제안했습니다.

서류 주소:

https://arxiv.org/pdf/1909.05677.pdf

스타일 전환을 통해 우리는 진실을 볼 수 있습니다

이 연구에서 런던대학교 연구진은 신경 스타일 전송 기술(NST)과 X선 사진 기술을 결합하여 숨겨진 예술 작품의 X선 사진과 그 시대 작가의 스타일을 중첩하여 원래 모습을 복원했습니다.

핵심 기술인 NST(Neural style transfer)는 디지털 이미지와 비디오를 처리하는 데 사용되는 알고리즘입니다. 그 목적은 모델의 출력이 참조 이미지의 시각적 스타일을 채택하도록 하는 것입니다.

훈련 후, 모델은 다양한 스타일의 그림의 특징을 인식하고 이를 예술 작품에 활용할 수 있습니다. 레오나르도 다빈치, 반 고흐, 피카소 등 누구의 사진이든 AI는 필터를 적용하는 것처럼 다른 사진에 특정한 스타일을 더하는 것의 본질을 파악할 수 있습니다.

실제 사진에서 반 고흐 스타일의 작품을 생성하는 이미지 스타일 전송 다이어그램

'늙은 기타리스트'의 숨겨진 그림들을 재현하는 과정에서, 먼저 모델에게 '스타일 레퍼런스' 이미지를 제공하여 동시대 피카소의 스타일을 학습하게 한 다음, 그림 속 숨겨진 작품의 엑스레이를 처리하여 스타일을 전사하였다.

구체적으로, 연구팀은 먼저 "노인 기타리스트"에 나오는 여성의 희미한 엑스레이 윤곽을 그린 다음, 원래 그림에는 나오지 않을 법한 특징을 직접 편집했습니다.

그리고, 숨겨진 그림의 채색 과정은 피카소의 현대 그림 "인생"을 스타일 레퍼런스로 사용하여 완성되었습니다. 그래서 우리는 피카소가 가린 여성의 초상화를 얻게 됩니다.

최종 결과

왼쪽에는 원본 이미지, 엑스레이 이미지, 재구성 이미지, 참고 이미지가 있습니다.

AI는 우리가 역사를 초월할 수 있게 해준다

본 논문에서는 "늙은 기타리스트"에 나오는 여성의 초상화를 복원하는 것 외에도, 같은 방법을 사용하여 "웅크리고 있는 거지"를 처리하여 최종적으로 풍경 사진을 생성했습니다.

이런 방식으로 우리는 숨겨진 그림을 재발견하고 유명한 그림에 얽힌 이야기를 더 많이 배울 수 있습니다. 이 방법을 사용하면 비슷한 스타일의 만화나 영화를 만들 수도 있습니다.

우리는 피카소가 그의 숨겨진 작품 뒤에 어떤 생각을 품고 있었는지 알 수 없지만, AI는 우리에게 가장 그럴듯한 설명을 제시했습니다.

-- 위에--