自動運転車のドライバーは交通指導員のジェスチャーに適切に対応する方法を理解している。しかし、自動運転車にとっては、交通指導ジェスチャーを認識する機能が備わっていない限り、このような状況に対応することはできない。本研究では、既存の自動運転データセットが交通指導ジェスチャー認識の学習データとして不足しているという課題に取り組み、3次元ボディースケルトン入力を基盤とするデータセットを提案する。このデータセットは、各時系列ステップにおいて交通指導ジェスチャーの分類を実行することを可能にする。本データセットは、複数の被験者から収集された250のシーケンスから構成されており、1つのシーケンスの長さは16秒から90秒まで変動する。本データセットの有効性を評価するため、再帰型ネットワーク、アテンション機構、時系列畳み込みネットワーク、グラフ畳み込みネットワークを含む、8種類の深層ニューラルネットワークに基づく順序処理モデルを提案する。本研究では、提案したデータセットに対する各アプローチの包括的な評価と分析を実施するとともに、実世界での定量的評価も行っている。本研究で使用したコードおよびデータセットは、公開されている。