RGB+D 비디오에서 행동 인식을 위한 깊은 다중 모달 특성 분석

최근 단일 모달 행동 인식은 RGB 또는 깊이 시퀀스에 대해 많이 연구되었습니다. 일반적으로 이 두 모달 각각은 행동 인식 작업에서 서로 다른 강점과 제한을 가지고 있다고 받아들여지고 있습니다. 따라서, RGB+D 비디오의 분석은 이 두 유형의 모달 간의 보완적 특성을 더 잘 연구하고, 더 높은 성능 수준을 달성하는 데 도움이 될 수 있습니다. 본 논문에서는 입력 다중모달 신호를 구성 요소 계층으로 분리하기 위한 새로운 딥 오토인코더 기반 공유-특정 특성 분해 네트워크를 제안합니다. 또한, 특성 구조를 바탕으로 구성요소 내에서 정규화를 적용하고 구성요소 간 그룹 선택을 수행하여 더 나은 분류 성능을 얻기 위한 구조적 희소성 학습 머신을 제안합니다(구조적 희소성 학습 머신은 혼합 노름을 사용합니다). 실험 결과, 제안된 크로스-모달 특성 분석 프레임워크가 다섯 개의 도전적인 벤치마크 데이터셋에서 행동 분류에 있어 최고 수준의 정확도를 달성함으로써 그 효과성을 입증하였습니다.