SEEG: 의미 기반 에너자이즈드 동시 언어 제스처 생성

대화 제스처 생성은 말과 일치하는 제스처를 합성하는 실용적이면서도 도전적인 과제이다. 의미 있는 서사적 제스처는 보다 효과적으로 유용한 정보를 전달하고 청중의 공감을 유도할 수 있다. 기존의 연구들은 주로 말의 리듬과 제스처를 정렬하는 데 초점을 맞추고 있으나, 이러한 접근은 의미 정보를 효과적으로 탐색하거나 의미 기반 제스처를 명시적으로 모델링하는 데 어려움을 겪는다. 본 논문에서는 의미 인지형 제스처 생성을 위한 새로운 방법인 SEmantic Energized Generation(이하 SEEG)을 제안한다. 제안하는 방법은 두 가지 모듈로 구성된다: DEcoupled Mining 모듈(DEM)과 Semantic Energizing 모듈(SEM). DEM은 입력에서 의미와 무관한 정보를 분리하여, 비트 제스처와 의미 제스처 각각에 대해 별도로 정보를 탐색한다. SEM은 의미 학습을 수행하고 의미 기반 제스처를 생성한다. 전통적인 표현 유사성 외에도, SEM은 예측 결과가 참값과 동일한 의미를 표현해야 한다는 조건을 추가로 요구한다. 또한 SEM 내부에는 의미 인지형 감독을 활용하기 위해 의미 프롬프터(semantic prompter)를 설계하여, 네트워크가 의미 기반 제스처를 학습하고 생성하도록 유도한다. 실험 결과, 다양한 벤치마크에서 세 가지 지표를 기준으로 평가한 결과, SEEG가 의미 정보를 효과적으로 탐색하고 의미 기반 제스처를 생성함을 입증하였다. 비교 실험에서도 다양한 데이터셋에서 의미 인지 평가에서 기존 방법들을 모두 상회하는 성능을 보였다. 질적 평가 결과 또한 SEEG가 의미 표현력 측면에서 우수함을 시사한다.