HyperAIHyperAI

Command Palette

Search for a command to run...

マルチモーダルTransformerによる動画検索

Valentin Gabeur Chen Sun Karteek Alahari Cordelia Schmid

概要

自然言語によるクエリに該当する動画コンテンツを検索するタスクは、インターネット規模のデータセットを効果的に扱う上で極めて重要な役割を果たしている。現在の主流のキャプションから動画への検索手法は、動画に含まれるマルチモーダルな手がかりを十分に活用していない。さらに、各フレームの視覚特徴を時間情報が限定的あるいは全くない状態で集約している点も課題である。本論文では、動画内の異なるモーダル情報を統合的にエンコードするためのマルチモーダルトランスフォーマーを提案する。このアーキテクチャにより、各モーダルが他のモーダルに注目(アテンション)できるようにする。また、トランスフォーマー構造を活用して時間的な情報を効果的にエンコード・モデリングする。自然言語側では、マルチモーダルトランスフォーマーと併せて言語埋め込みを最適化するための最良の実践手法を検討した。本研究で提案するこの新規フレームワークにより、3つのデータセットにおいて動画検索の最先端(SOTA)性能を達成した。詳細は http://thoth.inrialpes.fr/research/MMT にて確認可能。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています