초록
시각적 스토리텔링(VIST) 작업은 이미지 스트림을 입력으로 받아 합리적이고 인간처럼 자연스럽며 일관성 있는 스토리를 생성하는 것을 목표로 한다. 비록 많은 딥러닝 모델이 유망한 성과를 거두었지만, 대부분의 모델들은 스토리의 감정 정보를 직접 활용하지 못하고 있다. 본 논문에서는 VIST를 위한 감정 인지형 생성 모델인 SentiStory를 제안한다. SentiStory의 핵심은 다층 감정 추출 모듈(Multi-layered Sentiment Extraction Module, MLSEM)이다. 주어진 이미지 스트림에 대해, MLSEM의 상위 계층은 거시적이나 정확한 감정을 제공하고, 하위 계층은 미세한 감정을 추출하지만 일반적으로 신뢰도가 낮다. 이러한 두 계층의 감정 정보를 전략적으로 결합함으로써, VIST 작업을 위한 일관성 있고 풍부한 시각적 감정 개념을 생성한다. 자동 평가 및 인간 평가를 통한 실험 결과에 따르면, MLSEM을 활용함으로써 SentiStory는 더 일관성 있고 인간처럼 자연스러운 스토리를 생성하는 데 있어 향상된 성능을 보였다.