「チャープ」から「チャット」を分離する：自己監督下での音と言語の視覚的根拠付け

我々はDenseAVを提案します。これは、ビデオを見ることだけで高解像度で意味的に重要かつ音声と視覚が対応した特徴を学習する新しい双方向エンコーダーのグラウンディングアーキテクチャです。DenseAVが明示的な位置特定の監督なしに単語の「意味」と音の「位置」を発見できることを示しています。さらに、このシステムは監督なしでこれらの2つの関連性を自動的に発見し、区別することができます。DenseAVの位置特定能力は、直接画像と音声の密な表現を比較してコントラスティブ学習を行う新しいマルチヘッド特徴集約演算子から生まれることを示しています。これに対して、他の多くの「全体的」な音声と映像表現を学習するシステムでは、単語や音的位置特定ができないことがわかります。最後に、音声と音響によるセマンティックセグメンテーションの評価を改善するために2つの新しいデータセットを提供します。これらのデータセットや他のデータセットにおいて、DenseAVは音声と音響によるセマンティックセグメンテーションで既存の手法よりも大幅に優れていることを示しています。また、クロスモーダル検索においてもImageBind（以前の最先端技術）より少ないパラメータ数で優れた性能を発揮します。プロジェクトページ: https://aka.ms/denseav