HyperAIHyperAI

Command Palette

Search for a command to run...

실시간 상호작용 비디오 생성을 위한 자기회귀 적대적 후 훈련

Shanchuan Lin Ceyuan Yang Hao He Jianwen Jiang Yuxi Ren Xin Xia Yang Zhao Xuefeng Xiao Lu Jiang

초록

기존의 대규모 비디오 생성 모델은 계산적으로 집약적이어서 실시간 및 상호작용형 애플리케이션에서의 채택을 방해하고 있습니다. 본 연구에서는 사전 학습된 잠재적 비디오 확산 모델을 실시간, 상호작용형 비디오 생성기로 변환하기 위해 자기회귀 적대적 후학습(Autoregressive Adversarial Post-Training, AAPT)을 제안합니다. 우리의 모델은 단일 신경망 함수 평가(1NFE)를 사용하여 한 번에 하나의 잠재 프레임을 자기회귀적으로 생성합니다. 이 모델은 결과를 사용자에게 실시간으로 스트리밍할 수 있으며, 다음 잠재 프레임을 생성하기 위한 제어로서 상호작용적인 응답을 받을 수 있습니다. 기존 접근법과 달리, 우리의 방법은 자기회귀 생성에 대한 효과적인 패러다임으로 적대적 훈련을 탐구합니다. 이는 단계별 생성에 더 효율적인 아키텍처 설계를 가능하게 하면서 KV 캐시를 완전히 활용할 수 있게 해주며, 또한 긴 비디오 생성 중 오류 누적을 줄이는 데 효과적인 학생 강제 방식으로 모델을 훈련할 수 있게 합니다. 실험 결과, 우리의 8B 모델은 단일 H100에서 736x416 해상도로 실시간 24fps 스트리밍 비디오 생성을 수행하며, 8개의 H100에서 1280x720 해상도로 최대 1분 동안(1440프레임) 비디오를 생성할 수 있음을 보여주었습니다. 연구 웹사이트는 https://seaweed-apt.com/2 에서 확인하실 수 있습니다.


AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
실시간 상호작용 비디오 생성을 위한 자기회귀 적대적 후 훈련 | 문서 | HyperAI초신경