가이드된 주의력 기반 해석 가능한 모션 캡셔닝

최근 텍스트 조건부 인간 운동 생성에 대해 다양하고 광범위한 연구가 진행되고 있습니다. 그러나 그 반대 방향인 운동 캡셔닝은 비교적 덜 발전하였습니다. 본 논문에서는 시공간적 및 적응적 주의 메커니즘을 강조하여 텍스트 생성의 품질을 개선하는 새로운 아키텍처 설계를 소개합니다. 인간적인 추론을 유도하기 위해, 학습 중 주의를 안내하는 방법을 제안하며, 시간 경과에 따라 관련된 골격 영역을 강조하고 운동 관련 단어를 구분하는 데 초점을 맞춥니다. 또한, 관련 히스토그램과 밀도 분포를 사용하여 모델의 해석 가능성을 논의하고 정량화합니다. 더 나아가, 해석 가능성에 기반하여 인간 운동에 대한 세부 정보를 도출하는데 활용합니다. 이는 행동 위치 결정, 신체 부위 식별, 그리고 운동 관련 단어 구분 등을 포함합니다. 마지막으로, 우리의 접근법이 다른 작업으로의 전이 가능성에 대해 논의합니다. 실험 결과, 주의 안내는 성능을 개선하면서 해석 가능한 캡셔닝을 실현함을 보여주며, 이는 많은 매개변수를 가진 비해석 가능한 최신 시스템보다 우수한 결과를 나타냅니다. 코드는 다음 링크에서 제공됩니다: https://github.com/rd20karim/M2T-Interpretable.