2달 전

두 스트림 적응형 그래프 컨볼루션 네트워크를 이용한 골격 기반 행동 인식

Lei Shi; Yifan Zhang; Jian Cheng; Hanqing Lu
두 스트림 적응형 그래프 컨볼루션 네트워크를 이용한 골격 기반 행동 인식
초록

스켈레톤 기반 행동 인식에서 그래프 컨볼루션 네트워크(GCNs)는 인간의 몸 스켈레톤을 시공간 그래프로 모델링하여 뛰어난 성능을 달성하였습니다. 그러나 기존의 GCN 기반 방법에서는 그래프의 위상이 수동으로 설정되며, 모든 층과 입력 샘플에 대해 고정되어 있습니다. 이는 계층적 GCN과 다양한 샘플에 대한 행동 인식 작업에서 최적이 아닐 수 있습니다. 또한, 스켈레톤 데이터의 2차 정보(뼈의 길이와 방향)는 행동 인식에 자연스럽게 더 유용하고 구분력이 있지만, 기존 방법에서는 거의 연구되지 않았습니다. 본 연구에서는 이러한 문제를 해결하기 위해 새로운 두 스트림 적응형 그래프 컨볼루션 네트워크(2s-AGCN)를 제안합니다. 우리 모델에서 그래프의 위상은 BP 알고리즘을 통해 종단(end-to-end) 방식으로 균일하게 또는 개별적으로 학습될 수 있습니다. 이 데이터 주도적인 방법은 모델의 그래프 구성 유연성을 증가시키고, 다양한 데이터 샘플에 적응하는 일반성을 높입니다. 또한, 2스트림 프레임워크를 제안하여 1차 정보와 2차 정보를 동시에 모델링할 수 있으며, 이는 인식 정확도에显著한 개선을 보여줍니다. NTU-RGBD와 Kinetics-Skeleton 두 대규모 데이터셋에서 수행된 광범위한 실험 결과, 우리 모델의 성능이 현 상태 최고 수준(state-of-the-art)을 크게 초과함을 입증하였습니다.注:在最后一句中,“顯著”一词为中文,正确的韩文应为“저명”。以下是修正后的版本:NTU-RGBD와 Kinetics-Skeleton 두 대규모 데이터셋에서 수행된 광범위한 실험 결과, 우리 모델의 성능이 현 상태 최고 수준(state-of-the-art)을 저명히 초과함을 입증하였습니다。

두 스트림 적응형 그래프 컨볼루션 네트워크를 이용한 골격 기반 행동 인식 | 최신 연구 논문 | HyperAI초신경