13일 전

강건한 모션 인터폴레이션

Félix G. Harvey, Mike Yurick, Derek Nowrouzezahrai, Christopher Pal
강건한 모션 인터폴레이션
초록

이 연구에서는 적대적 순환 신경망 기반의 새로운 혁신적인 전이 생성 기법을 제안한다. 이 기법은 3D 애니메이터들이 사용할 수 있는 새로운 도구로 활용될 수 있으며, 시간적으로 희소한 키프레임을 애니메이션 제약 조건으로 사용하여 고품질의 움직임을 합성한다. 이는 전통적인 애니메이션 작업 흐름에서 키프레임 사이에 중간 프레임을 그려내는 ‘인터폴레이션(in-betweening)’ 작업과 유사하다. 먼저, 미래의 키프레임 정보를 단순히 조건 정보로 추가하는 방식만으로는 최첨단 움직임 예측 모델을 안정적인 전이 생성기로 쉽게 변환할 수 없음을 보여준다. 이 문제를 해결하기 위해, 네트워크 아키텍처 내부에 인코딩된 잠재 표현에 각 타임스텝에서 적용되는 두 가지 새로운 추가 임베딩 수정 기법을 제안한다. 하나는 전이 길이의 변동을 단일 모델로 가능하게 하는 ‘도착까지의 시간(시간-도착) 임베딩’이며, 다른 하나는 목표 왜곡에 대해 강건한 성능을 보장하고 고정된 키프레임에 대해 다양한 전이를 샘플링할 수 있도록 해주는 ‘스케줄링된 목표 노이즈 벡터’이다. 제안된 방법의 정성적 평가를 위해, 실제 제작 환경에서 사용 가능한 인터폴레이션 작업을 수행할 수 있도록 학습된 모델을 활용한 맞춤형 MotionBuilder 플러그인을 개발하여 제시한다. 정량적 평가를 위해, 널리 사용되는 Human3.6M 데이터셋의 일부와 전이 생성에 더 적합한 고품질의 새로운 움직임 캡처 데이터셋인 LaFAN1을 기반으로 명확한 인터폴레이션 벤치마크를 제시한다. 본 연구와 함께 새로운 데이터셋을 공개하며, 기준 결과를 재현할 수 있도록 관련 코드도 함께 제공한다.

강건한 모션 인터폴레이션 | 최신 연구 논문 | HyperAI초신경