Command Palette

Search for a command to run...

4ヶ月前

PIDRo:テキスト-ビデオ検索における並列同素体アテンションと動的ルーティング

{Edmund Y. Lam Youliang Yan Songcen Xu Hang Xu Jiaxi Gu Weimian Li Jianzhuang Liu Bin Shao Renjing Pei Peiyan Guan}

PIDRo:テキスト-ビデオ検索における並列同素体アテンションと動的ルーティング

要約

テキスト・ビデオ検索は、マルチモーダル研究における基盤的なタスクであり、高い実用的価値を有している。大規模なデータに基づく事前学習画像・テキストモデル(例:CLIP)の著しい成功に触発され、多くの手法がCLIPの強力な表現学習能力をテキスト・ビデオ検索に転移することを目的として提案されている。しかし、ビデオと画像のモダリティの違いのため、CLIPをビデオ領域に効果的に適応する方法については、まだ十分に検討されていない。本論文では、この問題に対して2つの視点から考察を行う。第一に、CLIPの転移された画像エンコーダーを、シームレスな方法で細粒度のビデオ理解に向け強化する。第二に、モデル構造の改善と損失関数の設計の両面から、ビデオとテキスト間の細粒度な対比学習を実現する。特に、並列同型アテンション(parallel isomeric attention)と動的ルーティング(dynamic routing)を備えた細粒度対比モデル、すなわちPIDRoを提案する。並列同型アテンションモジュールは、ビデオエンコーダとして用いられ、パッチレベルとフレームレベルの両方からビデオの空間時系列情報を並列にモデル化する2つのブランチから構成される。一方、動的ルーティングモジュールは、CLIPのテキストエンコーダーを強化する目的で構築され、文内の関連する語トークンに細粒度情報を分配することで、情報豊かな単語表現を生成する。このようなモデル設計により、情報豊かなパッチ、フレームおよび単語表現が得られる。その後、これらをトークン単位で相互作用させることで、より細粒度なテキスト・ビデオのアライメントと、より正確な検索を実現できる。PIDRoは、MSR-VTT、MSVD、LSMDC、DiDeMo、ActivityNetなど、さまざまなテキスト・ビデオ検索ベンチマークにおいて、最先端の性能を達成している。

ベンチマーク

ベンチマーク方法論指標
video-retrieval-on-msr-vtt-1kaPIDRo
text-to-video Mean Rank: 10.7
text-to-video Median Rank: 1.0
text-to-video R@1: 55.9
text-to-video R@10: 87.6
text-to-video R@5: 79.8
video-to-text Mean Rank: 7.5
video-to-text Median Rank: 1.0
video-to-text R@1: 54.5
video-to-text R@10: 87.3
video-to-text R@5: 78,3

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
PIDRo:テキスト-ビデオ検索における並列同素体アテンションと動的ルーティング | 論文 | HyperAI超神経