Openstory++ 대규모 이미지 인스턴스 데이터 세트

Openstory++ 데이터 세트는 2024년에 남중국이공대학, 웨스트레이크대학, OPPO 미국 연구 센터, 킹압둘라과학기술대학이 공동으로 개발했습니다.

Openstory++는 기존 이미지 생성 모델이 긴 텍스트 컨텍스트에서 인스턴스 일관성을 유지하는 데 어려움을 겪는 문제를 해결하도록 설계되었습니다. 이미지와 텍스트의 인스턴스 수준 주석을 결합하여 긴 텍스트의 맥락에서 높은 일관성을 갖춘 이미지를 생성할 수 있는 풍부한 리소스를 제공합니다. 이 데이터 세트는 복잡한 내러티브를 다룰 때 기존 이미지 생성 모델에서 일관성이 부족하다는 점에 대한 깊은 이해를 바탕으로 개발되었습니다. 자동화된 키프레임 추출, 시각 언어 모델을 사용한 자막 생성, 대규모 언어 모델을 사용한 내러티브 일관성 다듬기를 통해 복잡한 내러티브 생성 작업을 지원하는 대규모 리소스 라이브러리가 구축됩니다.