스켈레톤 기반 글로벌 컨텍스트 인식 주의력 LSTM 네트워크를 이용한 인간 행동 인식

3D 스켈레톤 시퀀스에서의 인간 행동 인식은 많은 연구 관심을 받고 있습니다. 최근에, 장단기 기억(LSTM) 네트워크는 순차적 데이터에서 의존성과 동역학을 모델링하는 능력 덕분에 이 작업에서 유망한 성능을 보여주었습니다. 그러나 모든 스켈레톤 관절이 행동 인식에 유용한 정보를 제공하지는 않으며, 관련 없는 관절들은 종종 노이즈를 가져와 성능을 저하시키는 경우가 많습니다. 따라서 우리는 유용한 관절들에 더 집중해야 합니다. 그러나 원래의 LSTM 네트워크는 명시적인 주의 능력을 가지고 있지 않습니다. 본 논문에서는 스켈레톤 기반 행동 인식을 위해 전역 컨텍스트 인지 주의 LSTM(GCA-LSTM)이라는 새로운 클래스의 LSTM 네트워크를 제안합니다. 이 네트워크는 전역 컨텍스트 메모리 셀을 사용하여 각 스켈레톤 시퀀스의 각 프레임에서 유용한 관절들을 선택적으로 집중할 수 있는 능력을 갖추고 있습니다. 또한, 우리의 네트워크의 주의 능력을 더욱 향상시키기 위해 반복적인 주의 메커니즘도 도입하였습니다. 이 메커니즘은 네트워크의 주의 성능을 점진적으로 강화할 수 있습니다. 또한, 우리의 네트워크를 효과적으로 학습하기 위해 단계적인 학습 방안도 제안하였습니다. 우리의 접근법은 스켈레톤 기반 행동 인식을 위한 다섯 개의 도전적인 벤치마크 데이터셋에서 최신 수준의 성능을 달성하였습니다.