초록
장기적인 스켈레톤 기반의 인간 행동 생성은 한 프레임의 작은 편차가 잘못된 행동 시퀀스를 초래할 수 있기 때문에 어려운 문제로 여겨져 왔습니다. 대부분의 기존 방법들은 비디오 생성에서 아이디어를 차용하여, 이미지의 픽셀처럼 스켈레톤 노드/관절을 단순히 처리하는데, 프레임 간과 프레임 내의 풍부한 구조 정보를 고려하지 않아 잠재적으로 왜곡된 행동이 발생할 수 있습니다. 그래프 컨볼루션 네트워크(GCNs)는 이러한 구조 정보를 활용하여 구조 표현을 학습하는 유망한 방법입니다. 그러나 공간적 및 시간적 영역에서 연속적인 행동 시퀀스를 처리하기 위해 GCNs를 직접 적용하는 것은 매우 어렵습니다. 이는 행동 그래프가 매우 크기 때문입니다.이 문제를 해결하기 위해, 우리는 시간적 영역에서 완전한 행동 그래프를 적응적으로 희소화하기 위한 강력한 자기 주목(self-attention) 메커니즘을 활용하는 GCNs의 변형을 제안합니다. 우리의 방법은 중요한 과거 프레임에 동적으로 주목하고, 희소 그래프를 구성하여 GCN 프레임워크에 적용함으로써, 행동 시퀀스에서의 구조 정보를 효과적으로 포착할 수 있습니다. 광범위한 실험 결과는 두 개의 표준 인간 행동 데이터셋에서 기존 방법들과 비교해 우리의 방법이 우수함을 입증하였습니다.