VideoGraph: 동영상에서 수분간 지속되는 인간 활동 인식

많은 인간 활동은 몇 분 동안 진행됩니다. 이를 표현하기 위해 관련 연구들은 통계적 풀링 방법을 선택하는데, 이는 시간 구조를 무시하는 단점이 있습니다. 다른 연구들은 CNN과 Non-Local 같은 컨벌루션 방법을 사용하지만, 이러한 방법들은 시간 개념을 학습하는 데 성공적이지만 몇 분 동안의 시간 의존성을 모델링하는 데 부족합니다. 우리는 두 가지 방법의 장점을 모두 달성하기 위한 VideoGraph라는 방법을 제안합니다: 몇 분 동안의 인간 활동을 표현하고 그 기저에 있는 시간 구조를 학습합니다. VideoGraph는 인간 활동에 대한 그래프 기반 표현을 학습합니다. 이 그래프와 그 노드 및 엣지는 비디오 데이터셋에서 완전히 학습되므로, 노드 수준 주석이 없는 문제에도 VideoGraph를 적용할 수 있습니다. 결과적으로 Epic-Kitchen과 Breakfast 벤치마크에서 관련 연구들보다 개선된 성능을 보였습니다. 또한, VideoGraph가 몇 분 동안의 비디오에서 인간 활동의 시간 구조를 학습할 수 있음을 입증하였습니다.