HyperAIHyperAI
il y a 2 mois

Quantification de l'incertitude aléatoire basée sur les prototypes pour la recherche intermodale

Hao Li; Jingkuan Song; Lianli Gao; Xiaosu Zhu; Heng Tao Shen
Quantification de l'incertitude aléatoire basée sur les prototypes pour la recherche intermodale
Résumé

Les méthodes de recherche intermodale établissent des relations de similarité entre les modalités visuelle et linguistique en apprenant conjointement un espace de représentation commun. Cependant, les prédictions sont souvent peu fiables en raison de l'incertitude aléatoire, qui est induite par des données de faible qualité, par exemple des images corrompues, des vidéos à rythme rapide et des textes non détaillés. Dans cet article, nous proposons un nouveau cadre de quantification de l'incertitude aléatoire basé sur les prototypes (PAU) pour fournir des prédictions dignes de confiance en quantifiant l'incertitude résultant de l'ambiguïté inhérente aux données. Plus précisément, nous construisons d'abord un ensemble de prototypes apprenables variés pour chaque modalité afin de représenter l'espace sémantique entier. Ensuite, la théorie de Dempster-Shafer et la théorie logique subjective sont utilisées pour construire un cadre théorique probatoire en associant des preuves aux paramètres de la distribution Dirichlet. Le modèle PAU induit une incertitude précise et des prédictions fiables pour la recherche intermodale. De nombreuses expériences ont été réalisées sur quatre jeux de données de référence majeurs : MSR-VTT, MSVD, DiDeMo et MS-COCO, démontrant ainsi l'efficacité de notre méthode. Le code est disponible à l'adresse suivante : https://github.com/leolee99/PAU.