HyperAIHyperAI

Command Palette

Search for a command to run...

Prototypbasierte aleatorische Unsicherheitsquantifizierung für cross-modale Retrieval

Hao Li Jingkuan Song* Lianli Gao Xiaosu Zhu Heng Tao Shen

Zusammenfassung

Cross-modal Retrieval-Methoden etablieren Ähnlichkeitsbeziehungen zwischen visuellen und sprachlichen Modalitäten durch gemeinsames Lernen eines gemeinsamen Repräsentationsraums. Allerdings sind die Vorhersagen oft aufgrund der aleatorischen Unsicherheit, die durch Daten von geringer Qualität wie z.B. beschädigte Bilder, schnelle Videos und nicht detaillierte Texte verursacht wird, unzuverlässig. In dieser Arbeit schlagen wir ein neues Prototypenbasiertes Aleatorisches Unsicherheitsquantifizierungsrahmenwerk (PAU) vor, um durch die Quantifizierung der aus der inhärenten Datenambiguität resultierenden Unsicherheit vertrauenswürdige Vorhersagen zu liefern. Konkret bauen wir zunächst für jede Modalität eine Reihe verschiedener lernfähiger Prototypen auf, um den gesamten semantischen Teilraum darzustellen. Anschließend nutzen wir die Dempster-Shafer-Theorie und die Subjektive Logik-Theorie, um einen evidenzbasierten theoretischen Rahmen zu erstellen, indem wir Beweise mit den Parametern der Dirichlet-Verteilung in Verbindung bringen. Das PAU-Modell führt zu genauer Unsicherheit und zuverlässigen Vorhersagen für cross-modale Retrieval-Aufgaben. Ausführliche Experimente wurden an vier wichtigen Benchmark-Datensätzen durchgeführt: MSR-VTT, MSVD, DiDeMo und MS-COCO, welche die Effektivität unserer Methode belegen. Der Code ist unter https://github.com/leolee99/PAU verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Prototypbasierte aleatorische Unsicherheitsquantifizierung für cross-modale Retrieval | Paper | HyperAI