계층적 장단기 동시 기억을 이용한 인간 상호작용 인식

본 논문에서는 비디오에서 인간 상호작용 인식 문제를 다루기 위해 여러 사람 사이의 장기적인 상호 관련 역학을 탐구하고자 합니다. 최근에, Long Short-Term Memory (LSTM)은 단일 사람 행동 인식을 위한 개별 역학 모델링에 널리 사용되고 있습니다. 이는 LSTM이 일정 범위 내에서 시간적 움직임 정보를 포착하는 능력 때문입니다. 그러나 기존의 RNN 모델들은 단순히 모든 개인의 역학을 결합하거나 전체적으로 모델링하여 인간 상호작용의 역학을 포착하는 데만 초점을 맞추고 있습니다. 이러한 모델들은 시간이 지남에 따라 인간 상호작용이 어떻게 변화하는지에 대한 상호 관련 역학을 간과하고 있습니다.이를 해결하기 위해, 우리는 여러 사람 사이의 장기적인 상호 관련 역학을 모델링하여 인간 상호작용을 인식할 수 있는 새로운 계층적 장단기 동시 기억(Hierarchical Long Short-Term Concurrent Memory, H-LSTCM) 모델을 제안합니다. 구체적으로, 먼저 각 개인의 정적 특성을 Single-Person LSTM에 입력하여 단일 사람 역학을 학습합니다. 그 다음, 모든 Single-Person LSTM 유닛의 출력이 새로운 Concurrent LSTM (Co-LSTM) 유닛으로 전달됩니다. Co-LSTM 유닛은 주로 여러 하위 기억 유닛, 새로운 셀 게이트 및 새로운 동시 기억 셀로 구성됩니다.Co-LSTM 유닛에서 각 하위 기억 유닛은 개인적인 움직임 정보를 저장하며, Co-LSTM 유닛은 셀 게이트와 동시 기억 셀을 통해 여러 상호 작용하는 사람들의 하위 기억 유닛들로부터 선택적으로 상호 관련 움직임 정보를 통합하고 저장합니다. 네 가지 공개 데이터셋에서 수행된 광범위한 실험은 제안된 H-LSTCM의 효과성을 기준선 및 최신 방법들과 비교하여 검증하였습니다.