8만 점의 그림과 수동 주석 학습을 거쳐 알고리즘은 유명 그림을 감상하는 법을 배웠습니다.

예술 작품은 종종 작가의 내면적 감정을 담고 있으며, 사람들은 음악이나 그림을 감상할 때도 감정적 공감을 느끼곤 합니다. 컴퓨터가 예술 작품 속의 감정을 이해할 수 있을까? 스탠포드 대학의 연구팀이 이 알고리즘을 개발하고 있습니다.

레프 톨스토이는 이렇게 말했습니다. "예술이란 사람이 외부의 상징을 통해 자신의 감정을 다른 사람에게 의식적으로 전달하는 인간 활동이며, 다른 사람들도 이러한 감정에 감염되어 실제로 그 감정을 경험하게 됩니다."

예를 들어 예술 그림을 살펴보겠습니다. 모든 작품 뒤에는 화가의 특정한 감정이 숨어 있습니다. 반 고흐와 피카소 등 유명 화가들은 서로 다른 색상과 구성을 통해 각기 다른 시대의 독특한 기분과 감정을 표현했습니다.

컴퓨터가 이러한 예술 작품에 담긴 감정을 이해할 수 있을까? 스탠포드 대학의 컴퓨터 과학 연구팀은 수많은 미술품과 수동으로 주석을 단 감정적 경험이 포함된 ArtEmis라는 새로운 데이터 세트를 수집하고, 시각 예술에 대한 감정적 반응을 생성할 수 있는 컴퓨터 모델을 훈련했습니다.

감정 라벨링 데이터세트부터 시작하여 그림 이해하기

WikiArt: 유명 그림 온라인 박물관 

비영리 자원봉사 프로젝트인 위키아트는 2010년 출범 이후 전 세계의 시각 예술 작품을 수집해 왔으며, 유명 그림의 대규모 온라인 박물관으로 간주될 수 있습니다.

웹사이트에 따르면 2020년 1월 현재,이 사이트에는 61개 장르에 걸쳐 3,293명의 예술가가 그린 169,057점의 그림이 있습니다.

위키아트에는 분류가 명확한 수많은 그림이 있어 많은 AI 연구자들이 알고리즘을 훈련하는 데 사용하는 데이터 세트가 되었습니다.

2015년 러트거스 대학교와 Facebook AI 랩의 연구진은 GAN(생성적 적대 신경망)을 개발하고 WikiArt 데이터로 학습시켜 GAN이 다양한 예술 스타일을 구별할 수 있도록 했습니다.

ArtEmis: WikiArt에서 탄생한 새로운 데이터 세트 

스탠포드 대학 팀은 WikiArt의 작품을 기반으로 새로운 시각 예술 주석 데이터 세트인 ArtEmis를 만들었습니다.

그들은 WikiArt에 있는 1,119명의 예술가가 그린 81,446개의 예술 작품에 주석을 달았습니다.이 작품들은 15세기에 창작된 예술 작품부터 21세기에 창작된 현대 미술 그림까지 다양하며, 추상화, 바로크, 입체파, 인상파 등 27개 예술 스타일과 도시 풍경, 풍경화, 초상화, 정물화 등 45개 장르를 아우르며, 관객에게 매우 다양한 시각적 충격을 선사합니다.

각 작품마다 최소 5명의 주석자가 그림을 보고 느낀 주된 감정을 적고, 그러한 감정을 느끼게 된 이유를 설명해야 합니다.

구체적으로,예술 작품을 감상한 후, 주석자는 먼저 8가지 기본 감정 상태(분노, 혐오, 두려움, 슬픔, 즐거움, 경외감, 만족, 흥분) 중 하나를 자신이 느끼는 주된 감정으로 선택해야 합니다. 위의 8가지 감정에 해당하지 않는다면, '기타'로 표시할 수도 있습니다.

감정에 라벨을 붙인 후, 주석자는 왜 그런 감정을 느끼는지 또는 왜 강한 감정적 반응이 없는지 더 자세히 설명하기 위해 단어를 사용해야 합니다.

아래는 인간 주석자가 그림에 부여한 감정 라벨과 자세한 설명입니다.

최종적으로 6,377명의 라벨러가 Amazon의 크라우드소싱 플랫폼을 통해 라벨링 작업을 완료했으며, 총 10,220시간이 소요되었습니다.

연구팀은 기존의 다른 유사한 데이터 세트와 비교했을 때,ArtEmis 주석은 더 풍부하고, 더 감성적이며, 더 다양한 언어를 사용하며, 이러한 주석으로 구성된 코퍼스에는 총 36,347개의 다양한 단어가 포함되어 있습니다.

아르테미스(시각 예술을 위한 감정 라벨링 데이터 세트) 세부 정보:

출판사:스탠포드 대학교, 에콜 폴리테크닉, 킹 압둘라 과학기술대학교

포함된 수량:총 439121개의 그림에 주석이 달렸습니다.

데이터 형식:CSV 데이터 크기:21.8MB

주소:https://orion.hyper.ai/datasets/14861

감정을 인식할 수 있는 알고리즘을 만드는 방법

컴퓨터가 인간처럼 시각 예술에 대해 감정적 반응을 보이고, 언어를 사용하여 이러한 감정의 이유를 정당화할 수 있도록 하기 위해, 연구팀은 이 대규모 데이터 세트를 기반으로 신경 스피커를 훈련시켰습니다.

스탠포드 대학 HAI 연구소의 기바스 교수는 이것이 컴퓨터 비전 분야의 새로운 탐구라고 말했습니다. 이전의 고전적인 컴퓨터 비전 방법은 이미지에 무엇이 있는지를 지적하는 경우가 많았습니다. 예를 들어, 개가 세 마리 있습니다. 누군가가 커피를 마시고 있습니다. 그리고 그 사람의 작업은 시각 예술에서 감정을 정의하는 것입니다.

ArtEmis 데이터세트에 대한 학습 후,이 알고리즘은 다양한 그림에 담긴 감정을 인식하고 그러한 판단의 기준을 자동으로 생성합니다.예시 결과는 다음과 같습니다.

본 논문에서는 구체적인 교육 아이디어를 소개합니다.첫째, ArtEmis는 예술 그림의 감정적 해석 문제를 해결하기 위해 모델을 훈련하는 데 사용됩니다.이는 고전적인 9방향 텍스트 분류 문제이며, 연구팀은 처음부터 학습된 LSTM 텍스트 분류기에 교차 엔트로피 기반 최적화를 적용하는 동시에 이 작업을 위해 사전 학습된 BERT 모델을 미세 조정하는 것도 고려했습니다.

또한, 컴퓨터가 사람들이 작업에 대해 일반적으로 나타내는 감정적 반응을 예측하게 하세요.

이 문제를 해결하기 위해 연구팀은 ImageNet에서 사전 학습된 ResNet32 인코더를 미세 조정하여 출력과 ArtEmis 사용자 주석 간의 KL-다이버전스를 최소화했습니다.

분류기는 주어진 그림에 대해 먼저 그림이 전달하는 감정이 긍정적인지 부정적인지 판단한 다음, 그 그림이 어떤 특정 감정인지 더 자세히 판단합니다.

팀 소개,그림의 경우, 알고리즘은 전체적인 감정적 색상을 인식할 수 있을 뿐만 아니라, 그림 속 다양한 인물의 감정을 구분할 수도 있습니다.렘브란트의 '세례자 요한의 참수'를 예로 들면, AI 알고리즘은 참수당하는 세례자 요한의 고통뿐만 아니라, 그림 속에서 목이 바쳐진 여성 살로메의 '만족감'도 포착했습니다.

알고리즘이 공감을 가질 때

인간의 감정은 매우 풍부하고 복잡하며 미묘합니다. 우리 인간조차도 일부 예술가들이 표현하고 싶어하는 감정을 온전히 이해할 수는 없습니다. 따라서 AI가 아티스트의 의도를 정확하게 이해하려면 몇 가지 과제가 있을 수밖에 없습니다.

그러나 ArtEmis 데이터 세트가 공개되면서 AI는 이미지의 감정적 속성을 처리하는 데 있어 첫 걸음을 내딛을 수 있게 되었습니다.

연구팀은 추가 연구와 개선을 거치면 알고리즘이 인간의 기쁨과 슬픔을 감지할 수 있게 될 것이며, 예술가들은 이 알고리즘을 사용하여 자신의 작품이 예상한 감정 표현 효과를 달성할 수 있는지 평가할 수 있을 것이라고 밝혔습니다. 또한, 알고리즘이 인간의 본성을 이해할 수 있게 되면 인간과 컴퓨터의 상호작용 과정이 더욱 자연스럽고 조화롭게 될 것입니다.

뉴스 출처:

https://techxplore.com/news/2021-03-artist-intent-ai-emotions-visual.html

데이터셋 논문: https://arxiv.org/pdf/2101.07396.pdf

프로젝트 홈페이지: https://www.artemisdataset.org/#videos