상상하고, 추론하며 쓰기: 그래프 지식과 관계 추론을 활용한 시각적 스토리텔링

시각적 스토리텔링은 사진 스트림을 기반으로 짧은 이야기를 생성하는 작업이다. 시각적 캡션과 달리, 스토리는 이미지에 나타나지 않는 사실적 묘사 외에도 상상적 개념을 포함한다. 본 논문에서는 사람들이 이야기를 작성할 때 따르는 논리에 영감을 받아, 새로운 상상-이해-작성 생성 프레임워크(Imaginative-Reasoning-Writing, IRW)를 제안한다. 먼저, 상상 모듈을 활용하여 상상력 기반의 스토리라인을 명시적으로 학습함으로써 생성된 스토리의 일관성과 타당성을 향상시킨다. 다음으로, 스토리라인을 기반으로 관계 추론 기법을 사용하여 외부 지식(일반 지식 기반)과 과제 특화 지식(장면 그래프 및 이벤트 그래프)을 종합적으로 활용하는 이해 모듈을 도입한다. 이를 통해 이미지 내 객체들 간의 가장 정보성 있는 일반 지식 및 시각적 관계를 효과적으로 포착할 수 있으며, 이는 생성된 스토리의 다양성과 정보성 향상에 기여한다. 마지막으로, 상상 개념과 관계 지식을 통합하여 원본 이미지의 의미를 기반으로 인간과 유사한 스토리를 생성한다. 기준 데이터셋(VIST)에 대한 광범위한 실험을 통해 제안하는 IRW 프레임워크가 여러 평가 지표에서 최첨단 기법들을 크게 능가함을 입증하였다.