AdaCache는 비디오 생성을 가속화합니다

AdaCache는 Meta가 2024년에 제안한 기술로 AI 비디오 생성을 가속화합니다. 핵심은 적응형 캐시 메커니즘입니다. 관련 논문 결과는 "확산 변압기를 사용한 더 빠른 비디오 생성을 위한 적응형 캐싱". 컴퓨팅 리소스 할당을 최적화하고, 다양한 비디오 콘텐츠의 복잡성에 따라 컴퓨팅 용량을 동적으로 조정하며, 불필요한 컴퓨팅 오버헤드를 줄입니다. AdaCache는 비디오의 모션 정보를 활용하여 캐싱 결정을 더욱 최적화하는 모션 정규화 전략을 도입합니다. 실험 결과, AdaCache는 비디오 품질을 유지하면서 생성 속도를 크게 향상시키며, 다중 GPU 환경에서 그 효과가 유의미한 것으로 나타났습니다. AdaCache는 비디오 생성 분야에서 중요한 응용 가치와 개발 전망을 가지고 있습니다.

구체적으로, 우리의 접근 방식인 AdaCache는 학습이 필요 없고 추론 중에 플러그 앤 플레이 구성 요소로 기본 비디오 확산 변환기에 원활하게 통합될 수 있습니다. 우리 방식의 핵심 아이디어는 특정 확산 단계에서 변환기 모듈 내의 잔여 계산(예: 주의 또는 다층 퍼셉트론 출력)을 캐시하고, 생성된 비디오에 따라 여러 후속 단계에서 캐시된 결과를 재사용하는 것입니다. 연구팀은 캐싱 계획을 개발하여 이를 달성했습니다. 즉, 잔여 계산이 수행될 때마다 다음에 언제 다시 계산해야 할지 결정합니다. 이러한 결정은 이전에 저장된 표현과 현재 표현 사이의 변화율을 측정하는 거리 측정법에 따라 이루어집니다. 거리가 크면 호환되지 않는 표현을 재사용하는 것을 방지하기 위해 캐시를 장시간(즉, 여러 단계) 동안 보관하지 않습니다.

연구진은 또한 비디오에서 생성되는 모션 콘텐츠에 따라 계산 작업을 분배하기 위해 모션 정규화(MoReg)를 도입했습니다. 이는 높은 동적 시퀀스의 경우 적절한 품질을 달성하려면 더 많은 확산 단계가 필요하다는 관찰에서 비롯되었습니다.

전반적으로 이 파이프라인은 여러 비디오 확산 변환기 벤치마크에 적용되었으며 생성 품질을 희생하지 않고도 더 빠른 추론 속도를 보여줍니다.