Motion2Language, 비감독 학습을 통한 동기화된 의미론적 모션 분할

본 논문에서는 동작을 언어로 번역하고 동기화하는 시퀀스-투-시퀀스 구조를 구축하는 방법에 대해 연구합니다. 목표는 모션 캡처 입력을 영어 자연어 설명으로 번역하여, 수행되는 행동과 동시에 설명이 생성되도록 하는 것입니다. 이는 동기화된 훈련 데이터가 필요하지 않으면서 의미적 분할을 부산물로 제공할 수 있도록 합니다. 우리는 실시간 텍스트 생성에 적합한 새로운 재귀적인 로컬 어텐션 공식을 제안하며, 작은 데이터와 실시간 생성에 더 적합한 개선된 모션 인코더 구조도 제안합니다. 표준 BLEU4 지표와 간단한 의미적 동등성 측정을 사용하여 KIT 모션 언어 데이터셋에서 각각의 기여를 평가합니다. 후속 실험에서는 제안된 접근 방식에서 생성된 텍스트의 동기화 품질을 여러 평가 지표를 통해 평가합니다. 우리는 어텐션 메커니즘과 인코더 구조에 대한 두 가지 기여가 생성된 텍스트의 품질(BLEU 및 의미적 동등성)뿐만 아니라 동기화의 품질도 가법적으로 개선한다는 것을 발견했습니다. 본 연구의 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/rd20karim/M2T-Segmentation/tree/main