HyperAIHyperAI

Command Palette

Search for a command to run...

Quantification de l'incertitude aléatoire basée sur les prototypes pour la recherche intermodale

Hao Li Jingkuan Song* Lianli Gao Xiaosu Zhu Heng Tao Shen

Résumé

Les méthodes de recherche intermodale établissent des relations de similarité entre les modalités visuelle et linguistique en apprenant conjointement un espace de représentation commun. Cependant, les prédictions sont souvent peu fiables en raison de l'incertitude aléatoire, qui est induite par des données de faible qualité, par exemple des images corrompues, des vidéos à rythme rapide et des textes non détaillés. Dans cet article, nous proposons un nouveau cadre de quantification de l'incertitude aléatoire basé sur les prototypes (PAU) pour fournir des prédictions dignes de confiance en quantifiant l'incertitude résultant de l'ambiguïté inhérente aux données. Plus précisément, nous construisons d'abord un ensemble de prototypes apprenables variés pour chaque modalité afin de représenter l'espace sémantique entier. Ensuite, la théorie de Dempster-Shafer et la théorie logique subjective sont utilisées pour construire un cadre théorique probatoire en associant des preuves aux paramètres de la distribution Dirichlet. Le modèle PAU induit une incertitude précise et des prédictions fiables pour la recherche intermodale. De nombreuses expériences ont été réalisées sur quatre jeux de données de référence majeurs : MSR-VTT, MSVD, DiDeMo et MS-COCO, démontrant ainsi l'efficacité de notre méthode. Le code est disponible à l'adresse suivante : https://github.com/leolee99/PAU.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Quantification de l'incertitude aléatoire basée sur les prototypes pour la recherche intermodale | Articles | HyperAI