구문 지도된 생성적 임베딩을 이용한 제로샷 스켈레톤 동작 인식

우리는 SynSE(Syntactically Guided Generative Approach for Zero-Shot Learning)라는 새로운 문법적으로 안내되는 생성적 접근 방식을 소개합니다. 이 종단간(end-to-end) 접근 방식은 관련된 모달리티(시각, 언어) 내외에서 점진적으로 정교해지는 생성 임베딩 공간을 학습합니다. 모달리티 간 제약 조건은 동작 시퀀스 임베딩과 해당 동작 설명에서 품사(Parts of Speech, PoS) 태깅이 된 단어들의 임베딩 사이에 정의됩니다. 우리는 SynSE를 골격 기반 동작 시퀀스 인식 작업에 적용하였습니다. 우리의 설계 선택은 SynSE가 구성적으로 일반화할 수 있도록 하며, 즉 훈련 중에 만나지 않았던 단어를 포함하는 동작 설명의 시퀀스를 인식할 수 있게 합니다. 또한 우리는 신뢰도 기반 게이팅 메커니즘을 통해 더 어려운 일반화된 제로샷 학습(Generalized Zero-Shot Learning, GZSL) 문제로 확장하였습니다. 우리는 대규모 NTU-60 및 NTU-120 골격 동작 데이터셋에서 여러 분할(multiple splits)을 사용하여 제로샷 골격 동작 인식 결과를 처음으로 제시하였습니다. 우리의 결과는 NTU-60 및 NTU-120 데이터셋에서 강력한 베이스라인들과 비교하여 ZSL 및 GZSL 설정 모두에서 SynSE의 최신 성능을 입증하고 있습니다. 코드와 사전 훈련된 모델은 https://github.com/skelemoa/synse-zsl 에서 제공됩니다.