3D 국부 합성곱 신경망을 활용한 보행 인식

걸음걸이 인식의 목적은 인간의 신체 형태에 대한 고유한 시공간 패턴을 시간에 따라 변화하는 특성에서 학습하는 것이다. 보행 중 각 신체 부위는 서로 다른 방식으로 움직이므로, 각 부위의 시공간 패턴을 별도로 모델링하는 것은 직관적으로 타당하다. 그러나 기존의 부위 기반 방법들은 각 프레임의 특징 맵을 고정된 수평 스트라이프로 동일하게 분할하여 국소적 부위를 추출한다. 이러한 스트라이프 기반 분할 방식은 신체 부위를 정확히 위치시키지 못한다는 것이 명백하다. 첫째, 서로 다른 신체 부위가 동일한 스트라이프에 나타날 수 있다(예: 팔과 몸통). 또한 같은 부위가 다른 프레임에서는 서로 다른 스트라이프에 위치할 수 있다(예: 손). 둘째, 다양한 신체 부위는 서로 다른 크기를 가지며, 동일한 부위라도 다른 프레임에서 위치와 크기가 달라질 수 있다. 셋째, 각 부위는 서로 다른 운동 패턴을 보이며(예: 운동이 시작되는 프레임, 위치 변화 주기, 지속 시간 등), 이는 인식에 중요한 정보를 제공한다. 이러한 문제를 해결하기 위해, 우리는 3D 걸음걸이 인식 백본에 사용 가능한 일반적인 구성 요소로서의 새로운 3D 국소 연산을 제안한다. 제안된 3D 국소 연산은 시퀀스 내 신체 부위의 국소 3D 볼륨을 적응형 공간 및 시간 규모, 위치, 길이로 추출할 수 있도록 지원한다. 이를 통해 각 부위에 특화된 규모, 위치, 주기 및 길이에서 3D 국소 이웃 영역을 기반으로 신체 부위의 시공간 패턴을 효과적으로 학습할 수 있다. 실험 결과, 제안하는 3D 국소 합성곱 신경망은 주요 걸음걸이 데이터셋에서 최신 기술 수준의 성능을 달성함을 입증하였다. 코드는 다음에서 공개되어 있다: https://github.com/yellowtownhz/3DLocalCNN.