COMEDIAN: 自教師学習と知識蒸留を用いたトランスフォーマーによる行動検出

私たちはCOMEDIANという新しいパイプラインを提案します。このパイプラインは、アクションスポットティングのための空間時間変換器の初期化に自己監督学習と知識蒸留を用います。アクションスポットティングは、タイムスタンプレベルでの一時的なアクション検出タスクです。私たちのパイプラインは3つのステップで構成され、そのうち2つが初期化段階です。まず、短い動画を入力として空間変換器の自己監督初期化を行います。さらに、事前に計算された特徴量バンクから各短い動画セグメントと合わせて全般的なコンテキストを追加する知識蒸留を通じて、空間変換器の出力を強化する時間変換器の初期化も行います。最終ステップでは、これらの変換器をアクションスポットティングタスクに微調整します。SoccerNet-v2データセット上で実施した実験は最先端の性能を示し、COMEDIANの事前学習パラダイムの有効性を確認しています。私たちの結果は、非事前学習モデルと比較して性能向上や収束速度の向上といった当回事前学習パイプラインのいくつかの利点を強調しています。注：文中的专业术语如“空间时间变换器”（spatiotemporal transformers）、“自我监督学习”（self-supervised learning）、“知识蒸馏”（knowledge distillation）等均采用了通用的日语译法，以保持专业性和准确性。同时，为了确保表述正式且符合日语表达习惯，对原文进行了适当的结构调整和润色。