17日前

VVS:無関係フレーム抑制を用いたビデオ間検索

Won Jo, Geuntaek Lim, Gwangjin Lee, Hyunwoo Kim, Byungsoo Ko, Yukyung Choi
VVS:無関係フレーム抑制を用いたビデオ間検索
要約

コンテンツベース動画検索(CBVR)において、大規模なコレクションを扱う場合、精度と同様に効率性も極めて重要であるため、動画レベル特徴に基づく研究が活発に行われている。しかし、長時間にわたる未トリム(untrimmed)動画を一つの特徴ベクトルに埋め込むことの著しい困難性から、フレームレベル特徴に基づく手法と比較して、動画レベル特徴手法は正確な検索において依然として不十分である。本論文では、不要なフレームを適切に抑制することが、現在の動画レベルアプローチにおける課題の本質を明らかにする手がかりとなり得ることを示す。さらに、これを解決するため、Video-to-Video Suppressionネットワーク(VVS)を提案する。VVSは、不要なフレームを識別・除去する「簡単なノイズ除去段階」と、残存フレームの抑制強度を決定する「抑制重み生成段階」から構成されるエンドツーエンドフレームワークである。この構造により、内容が変化する複雑な未トリム動画および意味のない情報を効果的に表現することが可能となる。広範な実験によりその有効性が実証されており、本手法は動画レベルアプローチにおいて最先端の性能を達成するとともに、フレームレベルアプローチと同等の検索性能を維持しつつ、高速な推論時間も実現している。コードは以下のGitHubリポジトリにて公開されている:https://github.com/sejong-rcv/VVS