MambaTalk: 효율적인 통합 제스처 합성에 대한 선택적 상태 공간 모델

제스처 합성은 인간-컴퓨터 상호작용의 중요한 영역으로, 영화, 로봇공학, 가상현실 등 다양한 분야에서 광범위한 응용을 가지고 있습니다. 최근의 발전은 확산 모델과 주의 메커니즘을 활용하여 제스처 합성을 개선하는 데 중점을 두고 있습니다. 그러나 이러한 기술들의 높은 계산 복잡도로 인해, 지연 시간이 낮으면서 길고 다양성 있는 시퀀스를 생성하는 것은 여전히 도전 과제입니다. 우리는 상태 공간 모델(SSMs)의 잠재력을 탐구하여 이 문제를 해결하고자 하며, 이산 운동 사전을 사용한 두 단계 모델링 전략을 구현하여 제스처의 품질을 향상시키는 방법을 제안합니다. Mamba 블록을 기반으로 하여 다중모달 통합을 통해 제스처 다양성과 리듬을 강화한 MambaTalk를 소개합니다. 광범위한 실험 결과는 우리의 방법이 최신 모델들과 비교하여 성능이 일치하거나 초월함을 입증하고 있습니다.