
개인-개인 상호작용 인식(또는 상호작용 인식)은 인간 활동 분석의 중요한 연구 분야입니다. 현재 이 분야의 주요 해결책들은 CNN(합성곱 신경망), GCN(그래프 합성곱 신경망) 및 LSTM(장단기 메모리)에 의해 주도되며, 종종 두 사람 간의 관계를 아키텍처 자체에 내재시키기 위한 복잡한 구조와 메커니즘을 포함합니다. 이 작업에서 우리의 주요 기여는 Interaction Relational Network(상호작용 관계 네트워크, IRN)라는 단순하면서도 매우 강력한 아키텍처를 제안하는 것입니다. 이 네트워크는 인간 몸체 구조에 대한 최소한의 사전 지식을 활용하여, 상호 작용하는 개인들의 신체 부위 간의 관계를 스스로 식별하도록 설계되었습니다.상호작용을 더 잘 표현하기 위해 우리는 두 가지 다른 관계를 정의하였으며, 이를 통해 각각에 특화된 아키텍처와 모델을 개발하였습니다. 이러한 다중 관계 모델들은 이후 두 정보 스트림을 모두 활용하여 관계 추론 능력을 더욱 향상시키기 위해 하나의 특수한 아키텍처로 융합됩니다. 또한, 각 관절 쌍에서 의미 있는 추가 정보를 추출하기 위해 거리와 움직임 같은 중요한 구조적 쌍별 연산을 정의하였습니다. 궁극적으로 LSTM과 결합함으로써, 우리의 IRN은 뛰어난 순차적인 관계 추론이 가능해집니다.우리가 네트워크에 적용한 이러한 중요한 확장은 고급 관계 추론이 필요한 다른 문제들에도 가치있는 기여가 될 수 있습니다. 우리의 솔루션은 전통적인 상호작용 인식 데이터셋인 SBU와 UT에서 최고 수준의 성능을 달성하였으며, 대규모 데이터셋 NTU RGB+D의 상호 행동 부분에서도 우수한 성능을 보였습니다. 또한 NTU RGB+D 120 데이터셋의 상호 작용 하위 집합에서도 경쟁력 있는 성능을 얻었습니다.