Command Palette

Search for a command to run...

4달 전

장면 그래프 임베딩을 활용한 다양한 및 관련성 있는 시각적 스토리텔링

{Bernt Schiele Vera Demberg Khushboo Mehra Asad Sayeed Rakshith Shetty Xudong Hong}

장면 그래프 임베딩을 활용한 다양한 및 관련성 있는 시각적 스토리텔링

초록

이미지 시퀀스에 대한 자동 생성 스토리에서 발생하는 문제는 과도하게 일반적인 어휘와 문장 구조를 사용하며, 인간이 생성한 텍스트의 분포적 특성과 일치하지 않는다는 점이다. 본 연구에서는 이미지에서 장면 그래프(semantic scene graph)를 추출함으로써 개체와 그 관계에 대한 명시적인 표현을 도입함으로써 이 문제를 해결한다. 이러한 장면 그래프의 임베딩을 활용함으로써, 이전 연구에서 사용된 개체 분류기로부터 얻는 전역 특성에 비해 스토리 생성 과정에서 개체와 그 관계에 대해 더욱 명시적이고 정교한 추론이 가능해진다. 생성된 스토리의 어휘 및 구문의 다양성뿐만 아니라, 서사적으로 중요한 이미지 특징에 대한 참조 여부를 고려한 평가 지표를 적용한 결과, 본 방법이 기존 시스템보다 우수한 성능을 보임을 확인하였다. 또한 실험 결과, 본 모델이 기준 기반 평가 지표에서도 경쟁 가능한 성능을 달성함을 알 수 있었다.

벤치마크

벤치마크방법론지표
visual-storytelling-on-vistSGEmb
BLEU-1: 62.2
BLEU-2: 38.7
BLEU-3: 23.5
BLEU-4: 14.8
CIDEr: 8.6
METEOR: 35.6
ROUGE-L: 30.2

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp