3D 동작 인식을 위한 새로운 스켈레톤 시퀀스 표현 방법

본 논문은 골격 시퀀스(즉, 인간 골격 관절의 3D 궤도)를 사용한 3D 행동 인식을 위한 새로운 방법을 제시합니다. 제안된 방법은 먼저 각 골격 시퀀스를 공간-시간 특징 학습을 위해 딥 뉴럴 네트워크를 사용하여 여러 프레임으로 구성된 세 개의 클립으로 변환합니다. 각 클립은 골격 시퀀스의 원통 좌표계에서 하나의 채널로부터 생성됩니다. 생성된 클립의 각 프레임은 전체 골격 시퀀스의 시간 정보를 나타내며, 관절 간 특정 공간적 관계를 포함합니다. 전체 클립은 서로 다른 공간적 관계를 가진 여러 프레임을 포함하여 인간 골격의 유용한 공간 구조 정보를 제공합니다. 우리는 딥 컨볼루션 신경망을 사용하여 생성된 클립의 프레임에서 골격 시퀀스의 장기 시간 정보를 학습하고, 그 다음에 다중 작업 학습 네트워크(Multi-Task Learning Network, MTLN)를 사용하여 생성된 클립의 모든 프레임을 병렬로 공동 처리하여 행동 인식을 위한 공간 구조 정보를 통합하는 방법을 제안합니다. 실험 결과는 제안된 새로운 표현 및 특징 학습 방법이 3D 행동 인식에 효과적임을 명확히 보여줍니다.