HyperAIHyperAI

Command Palette

Search for a command to run...

フローに何が含まれているか:時系列運動情報の活用による教師なし汎用イベント境界検出

Sourabh Vasant Gothe Vibhav Agarwal Sourav Ghosh Jayesh Rajkumar Vachhani Pranay Kashyap Barath Raj Kandur Raja

概要

ジェネリックイベント境界検出(GEBD)タスクは、動画を意味のあるイベントに分割するための、一般的で分類体系に依存しない境界を認識することを目指しています。現在の手法は通常、大量のデータで訓練されたニューラルモデルを使用しており、多大な計算能力とストレージ空間を必要としています。本研究では、GEBDに関連する2つの重要な問いを探ります:(1) パラメトリックでないアルゴリズムが教師なしニューラル手法を上回ることができるのか?(2) 運動情報のみで高性能を達成できるのか?これらの問いに基づき、動画中のジェネリックイベント境界を特定するために運動情報をアルゴリズミックに活用します。本稿では、FlowGEBDという非パラメトリックかつ教師なしのGEBD技術を提案します。当方針は光学フローを利用した2つのアルゴリズムから構成されています:(i) ピクセル追跡および (ii) フローノーマライゼーションです。Kinetics-GEBDおよびTAPOSデータセットという難易度の高いデータセットでの詳細な実験を通じて、FlowGEBDが教師なし手法の中でも新たな最先端(SOTA)であることが示されました。FlowGEBDはKinetics-GEBDデータセットにおいて[email protected]スコア0.713を達成し、教師なしベースラインと比較して絶対値で31.7%の向上を示しました。また、TAPOSバリデーションデータセットでは平均F1スコア0.623を記録しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています