일반적 지식 인지형 개념 선택을 통한 다양한 정보성 시각 스토리텔링

시각적 스토리텔링은 주어진 이미지 시퀀스에 대해 관련성 있고 흥미로운 스토리를 생성하는 작업이다. 본 연구에서는 이미지에서 얻은 정보적 내용을 유지하면서 생성된 스토리의 다양성을 높이는 것을 목표로 한다. 우리는 개념 선택 모듈을 도입하여 개념 후보군을 제안함으로써 생성된 스토리의 다양성과 정보성을 향상시키는 방법을 제안한다. 이후, 대규모 사전 학습된 모델을 활용하여 개념과 이미지를 종합적인 스토리로 변환한다. 후보 개념을 풍부하게 하기 위해, 각 이미지 시퀀스로부터 공공지식 지식 그래프를 구축하고, 이 그래프를 기반으로 개념 후보를 제안한다. 지식 그래프에서 적절한 개념을 추출하기 위해, 후보 개념 간의 상관관계와 이미지-개념 간의 상관관계를 고려하는 두 가지 새로운 모듈을 제안한다. 광범위한 자동 평가 및 인간 평가 결과를 통해 제안한 모델이 합리적인 개념을 생성함을 입증하였다. 이를 통해 본 모델은 이미지 시퀀스와의 관련성을 유지하면서도, 스토리의 다양성과 정보성 측면에서 기존 모델을 크게 앞서는 성능을 보였다.