행동 인식을 위한 인간 파싱 모달리티 탐구

다중 모드 기반 행동 인식 방법은 포즈와 RGB 모드를 사용하여 높은 성공률을 달성하였습니다. 그러나, 스켈레톤 시퀀스는 외관 표현이 부족하며, RGB 이미지는 모드의 제한으로 인해 관련 없는 노이즈에 취약합니다. 이를 해결하기 위해, 우리는 신체 부위의 효과적인 의미론적 특성을 선택적으로 유지하면서 대부분의 관련 없는 노이즈를 필터링할 수 있는 새로운 모드인 인간 파싱 특성 맵을 소개합니다.우리는 스켈레톤과 인간 파싱 모드를 모두 활용하여 행동 인식을 수행하는 최초의 이중 분기 프레임워크인 앙상블 인간 파싱 및 포즈 네트워크(EPP-Net)를 제안합니다. 첫 번째 인간 포즈 분기는 그래프 컨볼루션 네트워크에서 강건한 스켈레톤을 입력받아 포즈 특성을 모델링하며, 두 번째 인간 파싱 분기는 컨볼루션 백본을 통해 묘사적인 파싱 특성 맵을 활용하여 파싱 특성을 모델링합니다. 두 고수준 특성이 후기 융합 전략을 통해 효과적으로 결합되어 더 나은 행동 인식이 가능하게 됩니다.NTU RGB+D 및 NTU RGB+D 120 벤치마크에서 수행된 광범위한 실험들은 일관되게 우리의 제안된 EPP-Net의 효과성을 검증하였으며, 기존의 행동 인식 방법들을 능가하는 것으로 나타났습니다. 우리의 코드는 다음 주소에서 이용 가능합니다: https://github.com/liujf69/EPP-Net-Action.