HyperAIHyperAI

Command Palette

Search for a command to run...

유메: 인터랙티브 월드 생성 모델

Xiaofeng Mao Shaoheng Lin Zhen Li Chuanhao Li Wenshuo Peng Tong He Jiangmiao Pang Mingmin Chi Yu Qiao Kaipeng Zhang

초록

Yume는 이미지, 텍스트 또는 영상을 사용하여, 주변 장치나 신경 신호를 통해 탐색 및 제어가 가능한 상호작용적이고 현실적이며 동적인 세계를 생성하려는 목표를 가지고 있습니다. 본 보고서에서는 입력 이미지로부터 동적인 세계를 생성하고 키보드 조작을 통해 세계를 탐색할 수 있는 \method의 프리뷰 버전을 제시합니다. 이러한 고해상도이고 상호작용 가능한 동영상 세계 생성을 위해, 카메라 움직임의 양자화, 영상 생성 아키텍처, 고급 샘플러, 모델 가속화를 포함하는 잘 설계된 프레임워크를 도입합니다. 먼저, 키보드 입력을 통한 안정적인 학습과 사용자 친화적인 상호작용을 위해 카메라 움직임을 양자화합니다. 다음으로, 자동회귀 방식으로 무한한 영상을 생성하기 위한 메모리 모듈을 갖춘 Masked Video Diffusion Transformer~(MVDT)를 제시합니다. 이후, 샘플러에 더하여 훨씬 더 나은 시각적 품질과 정확한 제어를 위해 학습 없는 Anti-Artifact Mechanism (AAM)과 확률적 미분 방정식 기반의 Time Travel Sampling (TTS-SDE)을 도입합니다. 또한, 적대적 증류와 캐싱 기법의 협력적 최적화를 통해 모델 가속화를 탐구합니다. 우리는 고품질의 세계 탐색 데이터셋 \sekai를 사용하여 \method를 학습시켰으며, 다양한 장면과 응용 분야에서 놀라운 결과를 달성했습니다. 모든 데이터, 코드베이스 및 모델 가중치는 https://github.com/stdstu12/YUME에서 제공됩니다. Yume는 월간 갱신을 통해 원래 목표를 달성할 계획입니다. 프로젝트 페이지: https://stdstu12.github.io/YUME-Project/.


AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
유메: 인터랙티브 월드 생성 모델 | 문서 | HyperAI초신경