LongAnimation: 동적 전역-국소 메모리를 활용한 장기 애니메이션 생성

애니메이션 색채화는 실제 애니메이션 산업 생산의 중요한 부분입니다. 장기적인 애니메이션 색채화는 높은 인건비를 필요로 합니다. 따라서, 비디오 생성 모델을 기반으로 한 자동화된 장기적 애니메이션 색채화는 상당한 연구 가치가 있습니다. 기존 연구들은 주로 단기적 색채화에 제한되어 있으며, 이들 연구는 지역 패러다임을 채택하여 중복되는 특성을 융합하여 지역 구간 간의 부드러운 전환을 달성합니다. 그러나 지역 패러다임은 전역 정보를 무시하여 장기적인 색상 일관성을 유지하지 못하는 문제를 가지고 있습니다. 본 연구에서는 이상적인 장기적 색상 일관성이 동적 전역-지역 패러다임을 통해 달성될 수 있다고 주장합니다. 즉, 현재 생성과 관련된 전역적으로 일관된 특성을 동적으로 추출하는 것입니다.특히, 우리는 새로운 프레임워크인 LongAnimation을 제안하며, 이는 주로 SketchDiT, Dynamic Global-Local Memory (DGLM), 그리고 Color Consistency Reward를 포함합니다. SketchDiT는 혼합 참조 특성을 포착하여 DGLM 모듈을 지원합니다. DGLM 모듈은 긴 비디오 이해 모델을 사용하여 전역 역사적 특성을 동적으로 압축하고 이를 현재 생성 특성과 적응적으로 융합합니다. 색상 일관성을 개선하기 위해 Color Consistency Reward를 도입하였습니다. 추론 과정에서 우리는 비디오 구간 전환을 부드럽게 하기 위해 색상 일관성 융합 방법을 제안하였습니다.단기(14프레임)와 장기(평균 500프레임) 애니메이션에 대한 광범위한 실험 결과 LongAnimation이 오픈 도메인 애니메이션 색채화 작업에서 단기 및 장기 색상 일관성을 유지하는 데 효과적임을 보여주었습니다. 코드는 https://cn-makers.github.io/long_animation_web/에서 확인할 수 있습니다.