プロトタイプベースのアレアトリック不確実性定量評価を用いたクロスモーダル検索

クロスモーダル検索手法は、視覚と言語のモーダリティ間の類似関係を共通表現空間の学習を通じて構築します。しかし、予測はしばしばアレアトリック不確実性（Aleatoric uncertainty）により信頼性が低下することがあります。これは、低品質なデータ（例えば、破損した画像、高速で進行する動画、詳細に欠けるテキストなど）によって引き起こされます。本論文では、信頼性のある予測を提供するために、固有のデータの曖昧さから生じる不確実性を量化する新しいプロトタイプベースのアレアトリック不確実性量化解析（Prototype-based Aleatoric Uncertainty Quantification: PAU）フレームワークを提案します。具体的には、まず各モーダリティに対して全体的な意味部分空間を表すための多様な学習可能なプロトタイプセットを構築します。次に、デンプスター・シャファー理論と主観論理理論を利用して、証拠をディリクレ分布パラメータに関連付ける証拠理論的フレームワークを構築します。PAUモデルはクロスモーダル検索において正確な不確実性推定と信頼性のある予測をもたらします。MSR-VTT, MSVD, DiDeMo, MS-COCOという4つの主要ベンチマークデータセットでの広範な実験により、当手法の効果が示されています。コードは https://github.com/leolee99/PAU で入手可能です。