장면 그래프 임베딩을 활용한 다양한 및 관련성 있는 시각적 스토리텔링

이미지 시퀀스에 대한 자동 생성 스토리에서 발생하는 문제는 과도하게 일반적인 어휘와 문장 구조를 사용하며, 인간이 생성한 텍스트의 분포적 특성과 일치하지 않는다는 점이다. 본 연구에서는 이미지에서 장면 그래프(semantic scene graph)를 추출함으로써 개체와 그 관계에 대한 명시적인 표현을 도입함으로써 이 문제를 해결한다. 이러한 장면 그래프의 임베딩을 활용함으로써, 이전 연구에서 사용된 개체 분류기로부터 얻는 전역 특성에 비해 스토리 생성 과정에서 개체와 그 관계에 대해 더욱 명시적이고 정교한 추론이 가능해진다. 생성된 스토리의 어휘 및 구문의 다양성뿐만 아니라, 서사적으로 중요한 이미지 특징에 대한 참조 여부를 고려한 평가 지표를 적용한 결과, 본 방법이 기존 시스템보다 우수한 성능을 보임을 확인하였다. 또한 실험 결과, 본 모델이 기준 기반 평가 지표에서도 경쟁 가능한 성능을 달성함을 알 수 있었다.