동적 장면 이해를 위한 그래프 컨볼루션 네트워크

우리는 이동하는 단일 카메라로 촬영한 시간 순서가 지정된 프레임 시퀀스로부터 도로상 차량의 행동을 모델링하기 위해 새로운 다중 관계형 그래프 컨볼루션 네트워크(MRGCN) 기반 프레임워크를 제안한다. MRGCN의 입력은 다중 관계형 그래프이며, 그래프의 노드는 장면 내의 주동적(Active) 및 수동적( Passive) 에이전트/객체를 나타내고, 모든 노드 쌍을 연결하는 양방향 엣지는 그들의 공간-시간적 관계를 인코딩한다. 본 연구에서는 시간 순서가 지정된 공간적 관계 집합에 직접적으로 학습하는 것보다, 중간 단계의 공간-시간 상호작용 그래프를 명시적으로 인코딩하고 활용하는 것이 본 작업에 더 적합함을 보여준다. 또한, 장면에 따라 동적으로 조절되는 주의(Attention) 메커니즘을 제안하여, 다양한 상호작용 유형에서의 정보 중요도를 동적으로 평가한다. 제안된 프레임워크는 네 가지 데이터셋에서 차량 행동 분류 작업에서 기존 방법보다 뚜렷한 성능 향상을 달성하였다. 또한, 미세 조정(Fine-tuning) 없이도 여러 데이터셋으로의 학습 전이가 원활하게 이루어짐을 입증하였다. 이러한 행동 예측 기법은 행동 계획, 상태 추정, 비디오 기반 교통 위반 탐지와 같은 다양한 내비게이션 작업에 즉각적인 적용 가능성을 지닌다.