要約
自然言語によるクエリに該当する動画コンテンツを検索するタスクは、インターネット規模のデータセットを効果的に扱う上で極めて重要な役割を果たしている。現在の主流のキャプションから動画への検索手法は、動画に含まれるマルチモーダルな手がかりを十分に活用していない。さらに、各フレームの視覚特徴を時間情報が限定的あるいは全くない状態で集約している点も課題である。本論文では、動画内の異なるモーダル情報を統合的にエンコードするためのマルチモーダルトランスフォーマーを提案する。このアーキテクチャにより、各モーダルが他のモーダルに注目（アテンション）できるようにする。また、トランスフォーマー構造を活用して時間的な情報を効果的にエンコード・モデリングする。自然言語側では、マルチモーダルトランスフォーマーと併せて言語埋め込みを最適化するための最良の実践手法を検討した。本研究で提案するこの新規フレームワークにより、3つのデータセットにおいて動画検索の最先端（SOTA）性能を達成した。詳細は http://thoth.inrialpes.fr/research/MMT にて確認可能。