활동 분석에서 큰 성공을 거두었음에도 불구하고 여전히 많은 도전 과제가 남아 있습니다. 현재까지의 활동 인식 연구 대부분은 효율적인 아키텍처나 비디오 샘플링 전략 설계에 더 많은 관심을 기울이고 있습니다. 그러나 비디오 내 세부 동작(fine-grained action)과 장기 구조(long-term structure)의 특성 때문에 활동 인식은 비디오 시퀀스 간의 시간적 관계를 추론해야 합니다. 본 논문에서는 여러 시간 척도에서 비디오 시퀀스의 외관 특징과 시간적 관계를 동시에 포착하기 위한 효율적인 시간적 추론 그래프(Temporal Reasoning Graph, TRG)를 제안합니다. 특히, 우리는 학습 가능한 시간적 관계 그래프를 구성하여 다중 척도 범위에서 시간적 관계를 탐색합니다. 또한, 다중 척도 시간적 관계 추출을 용이하게 하기 위해 다양한 종류의 시간적 관계를 표현하기 위한 다중 헤드 시간 인접 행렬(multi-head temporal adjacent matrix)을 설계하였습니다. 마지막으로, 이러한 그래프를 통해 합성된 특징들의 의미론적 의미(semantic meaning)를 추출하기 위한 다중 헤드 시간 관계 집합체(multi-head temporal relation aggregator)를 제안합니다. 광범위한 실험은 Something-Something 및 Charades와 같은 널리 사용되는 대규모 데이터셋에서 수행되었으며, 결과는 우리의 모델이 최신 기술(state-of-the-art) 수준의 성능을 달성할 수 있음을 보여주었습니다. 추가 분석은 우리 TRG를 사용한 시간적 관계 추론이 활동 인식에 대한 차별화된 특징(discriminative features)을 추출할 수 있음을 입증하였습니다.