SA-DVAE: 분리된 변분 오토인코더를 이용한 제로샷 스켈레톤 기반 동작 인식 개선

기존의 제로샷 스켈레톤 기반 행동 인식 방법들은 투영 네트워크를 사용하여 스켈레톤 특징과 의미 임베딩 간의 공유 잠재 공간을 학습합니다. 행동 인식 데이터셋에서 고유한 불균형, 즉 변동하는 스켈레톤 시퀀스와 일정한 클래스 라벨이 결합된 형태는 정렬에 큰 도전을 제시합니다. 이러한 불균형 문제를 해결하기 위해, 우리는 SA-DVAE -- 분리된 변분 오토인코더를 통한 의미 정렬(Semantic Alignment via Disentangled Variational Autoencoders)이라는 방법을 제안합니다. 이 방법은 먼저 특징 분리를 통해 스켈레톤 특징을 의미 관련 부분과 무관한 부분으로 두 개의 독립적인 부분으로 나누어 스켈레톤 특징과 의미 특징 간의 정렬을 개선합니다. 이를 구현하기 위해 모달리티별 변분 오토인코더 쌍과 전체 수정 패널티를 사용했습니다. 우리는 NTU RGB+D, NTU RGB+D 120 및 PKU-MMD 세 가지 벤치마크 데이터셋에서 실험을 수행했으며, 실험 결과는 SA-DVAE가 기존 방법들보다 우수한 성능을 보임을 확인할 수 있었습니다. 코드는 https://github.com/pha123661/SA-DVAE에서 제공됩니다.