時系列アライメントを用いた Few-Shot 動画分類

新規クラスをわずかなラベル付きサンプルから認識するモデルの学習に対する関心が高まっています。本論文では、Temporal Alignment Module (TAM)と呼ばれる新しい少ショット学習フレームワークを提案します。このフレームワークは、これまで見たことのない動画を分類する能力を学習することができます。これまでの多くの研究では長期的な時間順序情報が無視されてきましたが、我々の提案モデルは動画データにおける時間順序情報を明示的に活用することにより、強力なデータ効率性を実現します。具体的には、TAMはクエリ動画と新規クラスプロキシ間の距離値を、そのアライメントパスに沿った各フレーム間の距離の平均によって計算します。また、TAMに対して連続緩和を導入することで、モデルはエンドツーエンドで直接少ショット学習目標を最適化する形で学習できるようにしています。我々はTAMを2つの挑戦的な実世界データセットであるKineticsおよびSomething-Something-V2で評価し、幅広い競合基準に対して著しい少ショット動画分類性能の向上を示しました。