HyperAIHyperAI

Command Palette

Search for a command to run...

PersonaLive! 실시간 스트리밍을 위한 표현력 있는 포트레이트 이미지 애니메이션

Zhiyuan Li Chi-Man Pun Chen Fang Jue Wang Xiaodong Cun

초록

현재 기반의 확산 모델 기반 초상화 애니메이션 기술은 주로 시각적 품질과 표현의 사실감을 향상시키는 데 집중하고 있으나, 생성 지연 시간과 실시간 성능에 대한 고려가 부족하여 라이브 스트리밍 환경에서의 응용 범위가 제한되고 있다. 본 연구에서는 다단계 훈련 전략을 도입한 새로운 확산 기반 프레임워크인 PersonaLive를 제안한다. 이는 실시간 스트리밍 초상화 애니메이션을 가능하게 한다. 구체적으로, 먼저 은유적 얼굴 표현과 3D 은유적 키포인트를 결합한 하이브리드 은유 신호를 도입하여 이미지 수준의 움직임을 표현력 있게 제어한다. 다음으로, 복잡한 외형 정보의 중복을 제거하기 위해 단계 수를 줄인 외형 전달 전략을 제안함으로써 복호화 과정의 효율성을 크게 향상시킨다. 마지막으로, 자동회귀적 마이크로 청크 스트리밍 생성 패러다임을 도입하고, 슬라이딩 훈련 전략과 이력 키프레임 메커니즘을 결합함으로써 낮은 지연과 안정적인 장기 동영상 생성을 가능하게 한다. 광범위한 실험을 통해 PersonaLive가 기존 확산 기반 초상화 애니메이션 모델 대비 최대 7~22배의 속도 향상을 달성하며 최신 기술 수준의 성능을 보임을 입증하였다.


AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
PersonaLive! 실시간 스트리밍을 위한 표현력 있는 포트레이트 이미지 애니메이션 | 문서 | HyperAI초신경