InterGen: 복합적 상호작용 하에서 기반된 확산 다중 인체 운동 생성

최근 인간의 실감 나는 움직임을 생성하기 위한 확산 모델 기술에서 막대한 진전이 이루어졌으나, 이러한 기법들은 대부분 다인간 상호작용을 고려하지 않는다. 본 논문에서는 텍스트 지시만으로도 일반 사용자가 고품질의 두 사람 간 상호작용 움직임을 자유롭게 커스터마이징할 수 있도록 하기 위해, 인간 간 상호작용을 확산 과정에 효과적으로 통합한 새로운 확산 기반 접근법인 InterGen을 제안한다. 먼저, 다양한 두 사람 간 상호작용을 담은 다모달 데이터셋인 InterHuman을 구축하였다. 이 데이터셋은 약 1억 700만 프레임에 달하며, 정확한 골격 움직임과 함께 23,337개의 자연어 설명을 포함하고 있다. 알고리즘 측면에서는 두 사람 간 상호작용 환경에 맞게 움직임 확산 모델을 세심하게 설계하였다. 상호작용 중 인간의 정체성에 대한 대칭성을 처리하기 위해, 가중치를 공유하는 두 개의 협업형 트랜스포머 기반 디노이징 모듈을 제안하였으며, 두 디노이징 과정을 더욱 연결하기 위해 상호 주의 메커니즘(mutual attention mechanism)을 도입하였다. 또한, 세계 좌표계(world frame) 기준에서 두 수행자 간의 전역적 관계를 명시적으로 표현하는 새로운 움직임 입력 표현 방식을 제안하였다. 더불어, 공간적 관계를 효과적으로 인코딩하기 위한 두 가지 새로운 정규화 항을 도입하였으며, 이에 대응하는 감쇠(damping) 기법을 확산 모델 학습 과정에 적용하였다. 광범위한 실험을 통해 InterGen의 효과성과 일반화 능력이 검증되었으며, 특히 기존 방법보다 더 다양하고 매력적인 두 사람 간 움직임을 생성할 수 있음을 입증하였다. 또한, 인간 상호작용에 대한 다양한 후속 응용 가능성을 제공함으로써, 본 연구는 인간 상호작용 움직임 생성 분야에 중요한 기여를 한다.