Command Palette

Search for a command to run...

4ヶ月前

LAMV:カーネル化時系列層を用いた動画のアライメントとマッチングの学習

{Hervé Jégou Rita Cucchiara Matthijs Douze Lorenzo Baraldi}

LAMV:カーネル化時系列層を用いた動画のアライメントとマッチングの学習

要約

本論文では、動画の比較およびアライメントを実現する学習可能なアプローチを提案する。我々のアーキテクチャは、ニューラルネットワーク内における時系列マッチカーネルの構築と再考に基づいている。具体的には、フーリエ領域でパラメータ化された時間に敏感な類似度メトリクスに従い、2つのベクトル列間のスコアを最大化することで時系列アライメントを探索する新たな時系列層を提案する。この層は、局所化の精度と認識率の両方を考慮した三重損失(triplet loss)を最小化する時系列提案戦略により学習される。提案手法は、動画アライメント、コピー検出、イベント検索の各タスクにおいて評価された。比較的な設定下で、本手法は時系列動画アライメントおよび動画コピー検出のデータセットにおいて、従来の最先端技術を上回る性能を達成した。また、特定のイベント検索タスクにおいても、報告されている最高の結果を達成しつつ、動画の正確なアライメントを実現している。

ベンチマーク

ベンチマーク方法論指標
video-alignment-on-msu-video-alignment-andTMK
Accuracy w/ 3 frames error (Hard): 0.0554
Accuracy w/ 3 frames error (Light): 0.0571
Accuracy w/ 3 frames error (Medium color): 0.0607
Accuracy w/ 3 frames error (Medium geometric): 0.0446
video-retrieval-on-fivr-200kLAMV
mAP (CSVR): 0.466
mAP (DSVR): 0.496
mAP (ISVR): 0.371

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
LAMV:カーネル化時系列層を用いた動画のアライメントとマッチングの学習 | 論文 | HyperAI超神経