IGFormer: 스켈레톤 기반 인간 상호작용 인식을 위한 상호작용 그래프 트랜스포머

인간 상호작용 인식은 많은 응용 분야에서 매우 중요합니다. 상호작용을 인식하는 데 있어 중요한 단서 중 하나는 상호작용하는 신체 부위입니다. 본 연구에서는 이러한 상호작용하는 신체 부위를 그래프로 모델링하여 스켈레톤 기반의 상호작용 인식을 위한 새로운 Interaction Graph Transformer (IGFormer) 네트워크를 제안합니다. 구체적으로, 제안된 IGFormer는 상호작용하는 신체 부위 간의 의미적 및 거리적 상관관계에 따라 상호작용 그래프를 구성하고, 학습된 그래프를 기반으로 상호작용하는 신체 부위의 정보를 집계하여 각 사람의 표현을 강화합니다. 또한, 우리는 Semantic Partition Module을 제안하여 각 인간 스켈레톤 시퀀스를 Body-Part-Time 시퀀스로 변환함으로써 그래프 학습을 위해 스켈레톤 시퀀스의 공간적 및 시간적 정보를 더 잘 포착할 수 있도록 합니다. 세 가지 벤치마크 데이터셋에 대한 광범위한 실험 결과는 우리의 모델이 현존하는 최신 기술보다 크게 우수함을 입증하였습니다.