in2IN: 개별 정보를 활용한 인간 간 상호작용 생성

텍스트 기반으로 인간 간 운동 상호작용을 생성하는 것은 로봇공학, 게임, 애니메이션, 메타버스 등 다양한 분야에서 매우 유용한 응용 사례이다. 그러나 이러한 응용은 매우 고차원적인 개인 간 동역학을 모델링하는 데 큰 어려움을 수반한다. 또한, 상호작용 내부에서 개인 간 다양성을 적절히 포착하는 것도 많은 도전 과제를 안고 있다. 기존의 방법들은 이용 가능한 데이터셋과 조건부 전략의 한계로 인해 개인 내 동역학의 다양성이 제한된 상호작용만을 생성할 수 있다. 이를 해결하기 위해 우리는, 전체 상호작용의 텍스트 설명뿐 아니라 상호작용에 참여한 각 개인이 수행하는 행동에 대한 개별적인 설명까지 조건으로 사용하는 새로운 확산 모델인 in2IN을 제안한다. 이 모델을 훈련하기 위해, 대규모 언어 모델을 활용하여 InterHuman 데이터셋에 개별적 설명을 추가하였다. 그 결과, in2IN은 InterHuman 데이터셋에서 최신 기준(SOTA) 성능을 달성하였다. 또한, 기존 상호작용 데이터셋에서 개인 내 다양성을 더욱 높이기 위해, in2IN으로 생성한 운동과 HumanML3D에서 사전 훈련된 단일 인물 운동 사전 모델로 생성한 운동을 조합하는 모델 구성 기법인 DualMDM을 제안한다. 그 결과, DualMDM은 더 높은 개인 내 다양성을 가지는 운동을 생성하면서도, 개인 간 상호작용의 일관성을 유지하며 개인 내 동역학에 대한 제어력을 향상시켰다.