신체 골격 기반 동작 인식을 위한 신뢰 게이트를 사용한 시공간 LSTM 네트워크

최근 몇 년 동안 스켈레톤 기반 인간 행동 인식은 많은 연구 관심을 받았습니다. 최근 연구에서는 반복 신경망을 활용하여 인간 관절의 3D 위치 구성을 시간적으로 모델링하여 스켈레톤 데이터에서 인간 활동을 더 효과적으로 분석하려고 시도했습니다. 제안된 연구는 이 아이디어를 시간 영역뿐만 아니라 공간 영역으로 확장하여 두 영역에서 동시에 인간 스켈레톤 시퀀스 내에 존재하는 행동 관련 정보의 숨겨진 출처를 더 잘 분석할 수 있도록 합니다. 키넥트(Kinect)의 스켈레톤 데이터 구조를 바탕으로 효과적인 트리 구조 기반 순회 프레임워크도 제안되었습니다. 스켈레톤 데이터의 노이즈를 처리하기 위해 LSTM 모듈 내 새로운 게이팅 메커니즘이 도입되었습니다. 이를 통해 네트워크는 순차적 데이터의 신뢰성을 학습하고, 유닛의 메모리 셀에 저장된 장기 문맥 표현의 업데이트 과정에서 입력 데이터의 영향력을 적절히 조정할 수 있습니다. 또한, 본 논문에서는 LSTM 유닛 내에서 새로운 다중 모달 특성 융합 전략을 소개합니다. 7개의 도전적인 벤치마크 데이터셋에 대한 포괄적인 실험 결과는 제안된 방법론의 효율성을 입증하였습니다.