GEB+: ジェネリックイベント境界のキャプショニング、グラウンド化および検索のためのベンチマーク

認知科学は、人間がビデオを主要な主題の状態変化によって区切られたイベントとして認識することを示しています。これらの状態変化は新しいイベントを引き起こし、大量の冗長な情報の中で最も有用なものの一つです。しかし、これまでの研究では、セグメント全体の理解に焦点を当て、内部の微細な状態変化を評価していませんでした。本論文では、Kinetic-GEB+と呼ばれる新しいデータセットを紹介します。このデータセットには、12,000本以上のビデオに含まれる一般的なイベントにおける状態変化を説明するキャプションが付いた17万件以上の境界が含まれています。この新しいデータセットに基づいて、より微細で堅牢かつ人間に近いビデオ理解を促進するための3つのタスクを提案します。私たちは多くの代表的なベースラインモデルを評価し、視覚的な違いモデリングのために新しいTPD（Temporal-based Pairwise Difference）モデリング手法も設計しました。これにより、性能に大幅な向上が見られました。さらに、結果は現在の手法が異なる粒度の利用、視覚的な違い表現、および状態変化の正確な位置特定において依然として大きな課題を持っていることを示しています。詳細分析によると、当該データセットはより強力な手法を開発し、状態変化の理解を改善することでビデオレベルでの理解力を高めるのに役立つことがわかりました。ビデオと境界線が含まれるデータセットは https://yuxuan-w.github.io/GEB-plus/ で公開されています。