초록
장기적인 행동은 물체, 움직임, 하위 행동과 같은 여러 중요한 시각적 개념을 포함하며, 이러한 개념들 사이에는 다양한 관계가 존재한다. 이러한 관계를 우리는 기본 관계(basic relations)라고 부른다. 이러한 기본 관계들은 장기적인 행동의 시간적 진화 과정에서 서로 상호작용하며, 이로 인해 장기적인 행동 인식에 필수적인 고차원 관계(high-order relations)가 형성된다. 본 논문에서는 장기적인 행동 인식을 위해 고차원 관계를 효과적으로 활용하기 위해 그래프 기반 고차원 관계 모델링(Graph-based High-order Relation Modeling, GHRM) 모듈을 제안한다. GHRM에서는 장기적인 행동 내 각 기본 관계를 그래프로 모델링하며, 그래프의 각 노드는 긴 영상의 한 세그먼트를 나타낸다. 또한, 각 기본 관계를 모델링할 때 GHRM은 다른 모든 기본 관계로부터의 정보를 통합함으로써 장기적인 행동 내 고차원 관계를 효과적으로 탐색할 수 있다. 시간 차원을 따라 고차원 관계를 더 잘 활용하기 위해, 국소적인 시간적 고차원 관계와 전반적인 의미적 고차원 관계를 각각 모델링하는 목적을 가진 Temporal-GHRM 브랜치와 Semantic-GHRM 브랜치로 구성된 GHRM 레이어를 설계하였다. Breakfast, Charades, MultiThumos 세 가지 장기 행동 인식 데이터셋에서 수행한 실험 결과를 통해 제안한 모델의 효과성을 입증하였다.