HDBN: 강건한 골격 기반 동작 인식을 위한 새로운 하이브리드 이중 브랜치 네트워크

스켈레톤 기반 동작 인식은 간결하고 강건한 스켈레톤 표현을 활용함으로써 상당한 주목을 받고 있다. 그러나 현재의 대부분의 방법론은 스켈레톤 모달리티를 모델링하기 위해 단일 백본을 사용하는 경향이 있으며, 이는 네트워크 백본 내재적 한계로 인해 제한을 받을 수 있다. 이러한 문제를 해결하고 다양한 네트워크 아키텍처 간 보완적인 특성을 극대화하기 위해, 우리는 그래프 컨볼루션 네트워크(GCN)가 그래프 구조 데이터를 효과적으로 처리하는 능력과 트랜스포머(Transformer)가 전역 정보를 강력하게 모델링할 수 있는 특성을 결합한 새로운 하이브리드 듀얼 브랜치 네트워크(HDBN)를 제안한다. 구체적으로, 제안하는 HDBN은 MixGCN과 MixFormer이라는 두 가지 트렁크 브랜치로 구성된다. 이 두 브랜치는 각각 2D 및 3D 스켈레톤 모달리티를 모델링하기 위해 GCN과 트랜스포머를 활용한다. 제안한 HDBN은 2024년 ICME 그랜드 챌린지의 다중 모달 비디오 추론 및 분석 경진대회(MMVRAC)에서 최상위 성능을 기록하며, UAV-Human 데이터셋의 두 가지 벤치마크에서 각각 47.95%와 75.36%의 정확도를 달성하여 대부분의 기존 방법을 능가하였다. 코드는 다음과 같은 주소에서 공개될 예정이다: https://github.com/liujf69/ICMEW2024-Track10.