HyperAIHyperAI

Command Palette

Search for a command to run...

Phantom-Data: 주제 일관성 있는 비디오 생성을 위한 일반적인 데이터셋

초록

주제-비디오 생성은 최근 몇 년 동안 상당한 진전을 이뤘습니다. 그러나 기존 모델들은 여전히 텍스트 지시사항을 충실히 따르는 데 큰 어려움을 겪고 있습니다. 이 제한은 일반적으로 '복사-붙여넣기 문제'로 알려져 있으며, 타겟 비디오와 같은 장면에서 참조 이미지를 샘플링하는 널리 사용되는 쌍 내(in-pair) 학습 패러다임에서 발생합니다. 이러한 문제를 해결하기 위해, 우리는 Phantom-Data라는 첫 번째 일반적인 쌍 간 주제-비디오 일관성 데이터셋을 소개합니다. 이 데이터셋은 다양한 범주에 걸쳐 약 100만 개의 정체성 일관성 쌍을 포함하고 있습니다.우리의 데이터셋은 세 단계 파이프라인을 통해 구성됩니다: (1) 일반적이고 입력에 맞춰진 주제 검출 모듈, (2) 5,300만 개 이상의 비디오와 30억 개 이상의 이미지에서 대규모로 다른 맥락 간 주제 검색, 그리고 (3) 맥락 변동 하에서 시각적 일관성을 보장하기 위한 사전 가이드된 정체성 검증. 포괄적인 실험 결과, Phantom-Data를 활용한 학습은 프롬프트 일치도와 시각적 품질을 크게 향상시키면서 쌍 내(baseline) 기준과 동등한 수준으로 정체성 일관성을 유지하는 것으로 나타났습니다.


AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
Phantom-Data: 주제 일관성 있는 비디오 생성을 위한 일반적인 데이터셋 | 문서 | HyperAI초신경