HyperAIHyperAI

Command Palette

Search for a command to run...

Kreuzmodales aktives komplementäres Lernen mit selbstverfeinernder Korrespondenz

Yang Qin Yuan Sun Dezhong Peng Joey Tianyi Zhou Xi Peng Peng Hu

Zusammenfassung

Kürzlich hat die Bild-Text-Zuordnung zunehmend mehr Aufmerksamkeit von der Akademie und der Industrie erfahren, da sie grundlegend für das Verständnis der latenten Korrespondenz zwischen visuellen und textuellen Modalitäten ist. Dennoch gehen die meisten existierenden Methoden implizit davon aus, dass die Trainingspaare gut ausgerichtet sind, während sie den allgegenwärtigen Annotierungsrauschen, auch bekannt als noisy correspondence (NC), vernachlässigen. Dies führt unvermeidlich zu einer Leistungsabnahme. Obwohl einige Methoden versuchen, dieses Rauschen zu behandeln, stehen sie immer noch vor zwei herausfordernden Problemen: übermäßigem Memorieren/Überanpassung und nicht vertrauenswürdiger Korrektur von NC, insbesondere bei hohem Rauschpegel. Um diese beiden Probleme anzugehen, schlagen wir ein generalisiertes Cross-modal Robust Complementary Learning-Framework (CRCL) vor, das von einem innovativen Active Complementary Loss (ACL) und einem effizienten Self-refining Correspondence Correction (SCC) profitiert, um die Robustheit bestehender Methoden zu verbessern. Insbesondere nutzt ACL aktive und komplementäre Lernverluste, um das Risiko fehlerhafter Supervision zu verringern, was sowohl theoretisch als auch experimentell nachgewiesene Robustheit gegenüber NC aufweist. SCC verwendet mehrere Selbstverfeinerungsprozesse mit Impulskorrektur, um das Rezeptivfeld für die Korrektur von Zuordnungen zu erweitern. Dadurch wird eine Fehlerakkumulation gemindert und präzise sowie stabile Korrekturen erreicht. Wir führen umfangreiche Experimente auf drei Bild-Text-Benchmarks durch – nämlich Flickr30K, MS-COCO und CC152K – um die überlegene Robustheit unseres CRCL gegenüber synthetischem und realweltlichen noisy correspondences zu verifizieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp