RGBとポーズ情報を利用した二流畳み込みニューラルネットワークによる細かい動作検出

MediaEval 2022 スポーツタスクの参加者として、卓球の打球分類と検出に向けた二つのストリームネットワークアプローチを提案します。各ストリームは、注意機構を使用する3次元畳み込みニューラルネットワーク（CNN）ブロックの連続体です。各ストリームは異なる4次元入力を処理します。当手法では、MMPoseツールボックスから計算された生のRGBデータと姿勢情報を使用しています。姿勢情報は、黒い背景またはその情報が計算された元のRGBフレーム上に適用することで画像として扱われます。最高性能は、一方のストリームには生のRGBデータを、他方のストリームには姿勢+RGB (PRGB) 情報を入力し、特徴量に対して遅延融合を行うことで得られました。提案手法は提供されたTTStroke-21データセットで評価されました。打球分類において精度87.3%という改善が見られましたが、検出に関してはベースラインを上回る結果には至らなかったものの、IoU 0.349およびmAP 0.110を達成しました。