HyperAIHyperAI

Command Palette

Search for a command to run...

NAC: Verminderung von Rauschkorrespondenzen bei der cross-modalen Übereinstimmung mittels Nachbarn-Hilfskorrektor

Shao-Lun Huang Jian Xu Haoming Huang Yuqing Li

Zusammenfassung

Die Anwesenheit von verrauschten Korrespondenzen innerhalb der cross-modal-Übereinstimmung hat die Leistung bestehender Übereinstimmungsmethoden erheblich beeinträchtigt. In diesem Artikel stellen wir einen robusten Rahmen namens Neighbor Auxiliary Corrector (NAC) vor, der Rauschen durch Ausnutzung von Nachbarn reduziert, die auf ähnliche Textziele hinweisen. NAC basiert auf der Beobachtung, dass ähnliche Texte tendenziell ähnlichen Bildern entsprechen. Unter Ausnutzung der Zero-shot-Fähigkeiten vortrainierter Sprachmodelle (Pre-trained Language Models, PLMs) identifizieren wir für jedes positive Bild-Text-Paar die k nächsten Nachbarn. Anschließend wird die zusätzliche Information dieser Nachbarn sowohl zur Stichprobenverifikation als auch zur Stichprobenkorrektur genutzt. Umfangreiche Experimente auf Benchmark-Datensätzen zeigen, dass unser Rahmen die Leistung signifikant steigern und gegenüber verschiedenen Rauschniveaus bei der Korrespondenz robuster sein kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
NAC: Verminderung von Rauschkorrespondenzen bei der cross-modalen Übereinstimmung mittels Nachbarn-Hilfskorrektor | Paper | HyperAI