HyperAIHyperAI

Command Palette

Search for a command to run...

REPAIR: Rangkorrelation und halbweiser Ersatz störungsbehafteter Paare mit Speicher für störungsbehaftete Korrespondenzen

Ruochen Zheng Jiahao Hong Changxin Gao Nong Sang

Zusammenfassung

Die Anwesenheit von Rauschen in erworbenen Daten führt unvermeidlich zu einer Leistungsverschlechterung bei der modalitätsübergreifenden Zuordnung. Leider ist die Erstellung präziser Annotationen im multimodalen Bereich kostspielig, was einige Methoden zur Bewältigung des Problems von fehlerhaften Datensätzen in modalitätsübergreifenden Kontexten, als noisy correspondence bezeichnet, angeregt hat. Dennoch weisen die meisten dieser existierenden noisy-correspondence-Methoden folgende Einschränkungen auf: a) das Problem der selbst verstärkenden Fehlerakkumulation und b) eine unangemessene Behandlung fehlerhafter Datensätze. Um diese beiden Probleme anzugehen, schlagen wir ein verallgemeinertes Framework vor, das als Rank corrElation and noisy Pair hAlf-replacing wIth memoRy (REPAIR) bezeichnet wird, welches von einem Merkspeicher für die Merkmale zugeordneter Paare profitiert.Speziell berechnen wir die Distanzen zwischen den Merkmalen im Merkspeicher und denen des Ziel-Paares für jede jeweilige Modalität und verwenden die Rangkorrelation dieser beiden Distanzmengen, um das weiche Zuordnungslabel des Ziel-Paares zu schätzen. Die Schätzung eines weichen Zuordnungslabels basierend auf den Merkmalen des Merkspeichers anstelle der Verwendung eines Ähnlichkeitsnetzwerks kann die Fehlerakkumulation durch fehlerhafte Netzwerkidentifikationen vermeiden. Für vollständig nicht übereinstimmende Paare sucht REPAIR im Merkspeicher nach dem am besten passenden Merkmal, um ein Merkmal einer Modalität zu ersetzen, anstatt das ursprüngliche Paar direkt zu verwenden oder das nicht übereinstimmende Paar einfach zu verworfen.Wir führen Experimente auf drei modalitätsübergreifenden Datensätzen durch, nämlich Flickr30K, MSCOCO und CC152K, um die Effektivität und Robustheit unseres REPAIR bei synthetischem und realweltlichen Rauschen zu beweisen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
REPAIR: Rangkorrelation und halbweiser Ersatz störungsbehafteter Paare mit Speicher für störungsbehaftete Korrespondenzen | Paper | HyperAI