本稿では、移動する単眼カメラによって取得された時系列的に順序付けられたフレーム列から、道路上の車両行動をモデル化するための新しい多関係グラフ畳み込みネットワーク（MRGCN）に基づく枠組みを提案する。MRGCNの入力は、多関係グラフであり、グラフのノードはシーン内のアクティブ・エージェントおよびパッシブ・オブジェクトを表し、ノード間を双方向に結ぶエッジはそれらの空間時系列的関係の符号化を表す。本研究では、時系列的に順序付けられた空間的関係の集合に対して直接的にエンドツーエンド学習を行うのではなく、中間段階として空間時系列的相互作用グラフを明示的に符号化・利用するアプローチが、本タスクにおいて優れた適合性を示すことを示す。さらに、シーンの状況に応じて動的に変化する注意メカニズムを提案し、異なる相互作用タイプからの情報の重要度を動的に評価する。提案する枠組みは、4つのデータセットにおける車両行動分類タスクにおいて、従来手法と比較して顕著な性能向上を達成した。また、微調整（fine-tuning）を用いずに複数のデータセットへスムーズに学習を転移できることも示した。このような行動予測手法は、行動計画、状態推定、動画における交通違反検出など、多様なナビゲーションタスクにおいて直ちに応用可能である。