초록
골격 기반 인간 행동 인식은 인간-컴퓨터 상호작용 및 지능형 감시 분야에서 널리 응용되고 있다. 그러나 시점 변동과 노이즈가 많은 데이터는 이 작업에 도전 과제를 안겨준다. 게다가 공간-시간 골격 시계열을 효과적으로 표현하는 문제는 여전히 해결되지 않은 과제이다. 이러한 문제들을 통합적으로 해결하기 위해, 본 연구는 시점 불변 인간 행동 인식을 위한 개선된 골격 시각화 방법을 제안한다. 제안하는 방법은 세 단계로 구성된다. 첫째, 공간-시간 관절 위치에 대한 시점 변동의 영향을 제거하기 위해 시퀀스 기반의 시점 불변 변환 기법을 개발하였다. 둘째, 변환된 골격을 색상 이미지 시리즈로 시각화하여 관절의 공간-시간 정보를 암묵적으로 표현한다. 또한, 색상 이미지에 대해 시각적 및 운동 강화 기법을 적용하여 국소 패턴을 강화한다. 셋째, 컨볼루션 신경망 기반 모델을 활용하여 색상 이미지로부터 강건하고 구분력 있는 특징을 추출한다. 최종 행동 클래스 점수는 깊이 학습된 특징의 결정 수준 융합을 통해 생성된다. 네 개의 도전적인 데이터셋에서 실시한 광범위한 실험을 통해 본 방법의 우수성이 일관되게 입증되었다.