계층적으로 구조화된 강화학습을 이용한 주제 일관성 있는 시각적 스토리 생성

우리는 시각적 스토리텔링 작업을 위한 일관성 있는 다중 문장 스토리를 생성하기 위한 계획 문제를 해결하기 위해 계층적으로 구조화된 강화 학습 접근법을 제안합니다. 우리의 프레임워크 내에서, 이미지 시퀀스가 주어졌을 때 스토리를 생성하는 작업은 두 단계의 계층적 디코더로 나뉩니다. 고차 디코더는 각 이미지에 대해 의미론적 개념(즉, 주제)을 생성하여 계획을 구성합니다. 저차 디코더는 의미론적 조합 네트워크를 사용하여 각 이미지에 대한 문장을 생성하며, 이는 주제를 기반으로 문장 생성을 효과적으로 근거합니다. 두 디코더는 강화 학습을 통해 끝에서 끝까지 공동으로 훈련됩니다. 우리는 시각적 스토리텔링(VIST) 데이터셋에서 모델을 평가하였습니다. 자동 평가와 인간 평가 모두에서 얻은 경험적 결과는 제안된 계층적으로 구조화된 강화 학습 훈련이 강력한 평평한 깊은 강화 학습 베이스라인과 비교해 유의미하게 더 우수한 성능을 달성함을 보여줍니다.