ビデオナラティブグラウンディング

ビデオ・ナラティブ・グラウンディングは、視覚情報と言語情報を結びつけるタスクで、ビデオの叙述を特定のビデオセグメントに関連付けることを目指しています。このタスクでは、テキスト説明が含まれるビデオと、これらの説明内にマークされた名詞の位置を入力として受け取り、各マークされた名詞に対応する対象物体のセグメンテーションマスクを各フレームごとに生成します。物体をビデオ内で正確に位置づけることで、ビデオ・ナラティブ・グラウンディングはマルチモーダル理解、ビデオ注釈、コンテンツ検索などの分野で重要な応用価値を持っています。