VideoBERT: 動画と言語表現学習のための統合モデル

自己監督学習は、YouTubeなどのプラットフォームで利用可能な大量のラベルなしデータを活用するために、ますます重要な役割を果たしています。既存のアプローチの多くが低レベルの表現を学習する一方で、我々は明示的な教師なしで高レベルの特徴を学習するための視覚言語統合モデルを提案します。特に、言語モデリングにおける最近の成功に触発されて、BERTモデルを基に視覚と言語トークンのシーケンスに対する双方向共同分布を学習するモデルを開発しました。これらのトークンは、それぞれ動画データのベクトル量子化と市販の音声認識出力から導き出されます。我々はVideoBERTを行動分類や動画キャプショニングなど多数のタスクに適用し、オープンボキャブラリ分類にも直接応用可能であることを示しました。また、大量の訓練データとクロスモーダル情報が性能向上に不可欠であることを確認しています。さらに、動画キャプショニングにおいて最先端技術を超える結果を得ており、定量的な評価によりモデルが高レベルな意味論的特徴を学習していることが証明されています。