HyperAIHyperAI

Command Palette

Search for a command to run...

LongAnimation: 동적 전역-국소 메모리를 활용한 장기 애니메이션 생성

Nan Chen Mengqi Huang Yihao Meng Zhendong Mao

초록

애니메이션 색채화는 실제 애니메이션 산업 생산의 중요한 부분입니다. 장기적인 애니메이션 색채화는 높은 인건비를 필요로 합니다. 따라서, 비디오 생성 모델을 기반으로 한 자동화된 장기적 애니메이션 색채화는 상당한 연구 가치가 있습니다. 기존 연구들은 주로 단기적 색채화에 제한되어 있으며, 이들 연구는 지역 패러다임을 채택하여 중복되는 특성을 융합하여 지역 구간 간의 부드러운 전환을 달성합니다. 그러나 지역 패러다임은 전역 정보를 무시하여 장기적인 색상 일관성을 유지하지 못하는 문제를 가지고 있습니다. 본 연구에서는 이상적인 장기적 색상 일관성이 동적 전역-지역 패러다임을 통해 달성될 수 있다고 주장합니다. 즉, 현재 생성과 관련된 전역적으로 일관된 특성을 동적으로 추출하는 것입니다.특히, 우리는 새로운 프레임워크인 LongAnimation을 제안하며, 이는 주로 SketchDiT, Dynamic Global-Local Memory (DGLM), 그리고 Color Consistency Reward를 포함합니다. SketchDiT는 혼합 참조 특성을 포착하여 DGLM 모듈을 지원합니다. DGLM 모듈은 긴 비디오 이해 모델을 사용하여 전역 역사적 특성을 동적으로 압축하고 이를 현재 생성 특성과 적응적으로 융합합니다. 색상 일관성을 개선하기 위해 Color Consistency Reward를 도입하였습니다. 추론 과정에서 우리는 비디오 구간 전환을 부드럽게 하기 위해 색상 일관성 융합 방법을 제안하였습니다.단기(14프레임)와 장기(평균 500프레임) 애니메이션에 대한 광범위한 실험 결과 LongAnimation이 오픈 도메인 애니메이션 색채화 작업에서 단기 및 장기 색상 일관성을 유지하는 데 효과적임을 보여주었습니다. 코드는 https://cn-makers.github.io/long_animation_web/에서 확인할 수 있습니다.


AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
LongAnimation: 동적 전역-국소 메모리를 활용한 장기 애니메이션 생성 | 문서 | HyperAI초신경