12일 전

기반 뼈대 행동 인식을 위한 비국소 그래프 컨볼루션 네트워크

{Hanqing Lu, Jian Cheng, Yifan Zhang, Lei Shi}
기반 뼈대 행동 인식을 위한 비국소 그래프 컨볼루션 네트워크
초록

스켈레톤 기반 동작 인식을 위한 전통적인 딥러닝 방법은 일반적으로 스켈레톤을 좌표 시퀀스 또는 가상 이미지로 구조화하여 RNN 또는 CNN에 입력하지만, 이는 관절 간 자연스러운 연결성을 명시적으로 활용하지 못하는 한계를 가진다. 최근 그래프 컨볼루션 네트워크(GCNs)는 CNN을 더 일반적인 비유클리드 구조로 일반화한 것으로, 스켈레톤 기반 동작 인식에서 뛰어난 성능을 보여주고 있다. 그러나 기존 GCN의 그래프 구조는 수작업으로 설정되며, 모든 계층에서 고정되어 있어 동작 인식 작업이나 계층적 CNN 구조에 최적화되지 않을 수 있다. 더불어 기존 GCN은 주로 일계 정보(관절의 좌표)에 의존하지만, 이차 정보(해부학적 뼈의 길이와 방향)는 상대적으로 적게 활용되고 있다. 본 연구에서는 이러한 문제를 해결하기 위해 새로운 이중 스트림 비국소 그래프 컨볼루션 네트워크를 제안한다. 제안된 모델에서 각 계층의 그래프 구조는 BP 알고리즘을 통해 균일하게 또는 개별적으로 학습될 수 있어, 더 큰 유연성과 일반성을 제공한다. 동시에 관절과 뼈의 정보를 동시에 모델링할 수 있는 이중 스트림 프레임워크를 도입하여 인식 성능을 더욱 향상시켰다. NTU-RGB+D 및 Kinetics와 같은 두 대규모 데이터셋에서 실시한 광범위한 실험 결과, 제안 모델이 기존 최고 수준의 성능을 상당한 차이로 초과함을 입증하였다.

기반 뼈대 행동 인식을 위한 비국소 그래프 컨볼루션 네트워크 | 최신 연구 논문 | HyperAI초신경