초록
스켈레톤 데이터는 동적 환경과 복잡한 배경에도 강건하게 대응할 수 있다는 장점으로 인해 행동 인식 작업에서 널리 활용되어 왔다. 기존의 방법들에서는 스켈레톤 데이터 내의 관절 정보와 뼈 정보가 모두 행동 인식에 큰 도움이 되는 것으로 입증되었다. 그러나 이러한 두 가지 유형의 데이터를 어떻게 효과적으로 통합하여 관절과 뼈 간의 관계를 최대한 활용할 수 있을지에 대한 문제는 여전히 해결되어야 할 과제이다. 본 연구에서는 인간 신체 내 관절과 뼈 간의 운동학적 의존성에 기반하여 스켈레톤 데이터를 방향성 비순환 그래프(Directed Acyclic Graph, DAG)로 표현한다. 이를 위해 관절, 뼈 및 그들의 관계 정보를 효과적으로 추출하고, 추출된 특징을 바탕으로 예측을 수행할 수 있도록 특별히 설계된 새로운 방향성 그래프 신경망을 제안한다. 또한 행동 인식 작업에 더 잘 적합하도록 학습 과정에 따라 그래프의 위상 구조를 적응적으로 조정함으로써 성능 향상이 뚜렷하게 이루어졌다. 더불어, 스켈레톤 시퀀스의 운동 정보를 공간 정보와 결합하여 이중 스트림(framework) 구조에서 성능을 추가로 향상시켰다. 제안된 최종 모델은 대규모 두 가지 데이터셋인 NTU-RGBD와 Skeleton-Kinetics에서 테스트되었으며, 두 데이터셋 모두에서 기존 최고 성능(SOTA)을 초월하는 결과를 보였다.