Junyoung Seo Rodrigo Mira Alexandros Haliassos Stella Bounareli Honglie Chen Linh Tran Seungryong Kim Zoe Landgraf Jie Shen

초록

음성 기반 인간 애니메이션 모델은 시간적 자동회귀 생성 과정에서 정체성 흐름(Identity Drift) 문제를 겪는 경우가 많으며, 이는 캐릭터가 시간이 지남에 따라 점차 본래의 정체성을 잃게 되는 현상이다. 기존의 해결 방안으로는 생성 중간 단계에서 키프레임(keyframe)을 생성하여 시간적 기준점으로 삼는 방식이 있다. 그러나 이는 별도의 키프레임 생성 단계를 추가로 필요로 하며, 자연스러운 동작 역학을 제한할 수 있다. 이를 해결하기 위해 본 연구에서는 현재 생성 윈도우 내부가 아닌, 향후 시간 단계의 키프레임을 활용하는 '미래 전망 기반 기준점(lookahead anchoring)'을 제안한다. 이는 기존의 고정된 경계를 넘어서, 키프레임을 방향성 있는 안내 지점으로 전환한다. 모델은 즉각적인 음성 신호에 반응하면서도, 지속적으로 미래의 키프레임을 향해 추적함으로써, 정체성의 일관성을 유지할 수 있다. 또한, 참조 이미지 자체를 미래의 타깃으로 삼는 '자기 키프레임(self-keyframing)'이 가능해지며, 별도의 키프레임 생성 과정이 완전히 제거된다. 우리는 시간적 전망 거리(temporal lookahead distance)가 표현력과 일관성 사이의 균형을 자연스럽게 조절함을 발견했다. 전망 거리가 클수록 더 큰 동작의 자유도를 허용하지만, 작을수록 정체성 유지에 더 강한 영향을 미친다. 제안한 방법을 최근의 세 가지 인간 애니메이션 모델에 적용한 결과, 입술 동기화, 정체성 보존, 시각적 품질 측면에서 기존 방법보다 우수한 성능을 보였으며, 다양한 아키텍처에 걸쳐 시간적 조건화의 향상이 확인되었다. 비디오 결과는 다음 링크에서 확인할 수 있다: https://lookahead-anchoring.github.io.