NAC: Verminderung von Rauschkorrespondenzen bei der cross-modalen Übereinstimmung mittels Nachbarn-Hilfskorrektor
{Shao-Lun Huang Jian Xu Haoming Huang Yuqing Li}
Abstract
Die Anwesenheit von verrauschten Korrespondenzen innerhalb der cross-modal-Übereinstimmung hat die Leistung bestehender Übereinstimmungsmethoden erheblich beeinträchtigt. In diesem Artikel stellen wir einen robusten Rahmen namens Neighbor Auxiliary Corrector (NAC) vor, der Rauschen durch Ausnutzung von Nachbarn reduziert, die auf ähnliche Textziele hinweisen. NAC basiert auf der Beobachtung, dass ähnliche Texte tendenziell ähnlichen Bildern entsprechen. Unter Ausnutzung der Zero-shot-Fähigkeiten vortrainierter Sprachmodelle (Pre-trained Language Models, PLMs) identifizieren wir für jedes positive Bild-Text-Paar die k nächsten Nachbarn. Anschließend wird die zusätzliche Information dieser Nachbarn sowohl zur Stichprobenverifikation als auch zur Stichprobenkorrektur genutzt. Umfangreiche Experimente auf Benchmark-Datensätzen zeigen, dass unser Rahmen die Leistung signifikant steigern und gegenüber verschiedenen Rauschniveaus bei der Korrespondenz robuster sein kann.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| cross-modal-retrieval-with-noisy-1 | NAC | Image-to-text R@1: 41.8 Image-to-text R@10: 77.3 Image-to-text R@5: 68.6 R-Sum: 373.5 Text-to-image R@1: 40.5 Text-to-image R@10: 77.0 Text-to-image R@5: 68.3 |
| cross-modal-retrieval-with-noisy-2 | NAC | Image-to-text R@1: 79.3 Image-to-text R@10: 97.8 Image-to-text R@5: 94.6 R-Sum: 507.1 Text-to-image R@1: 60.8 Text-to-image R@10: 90.1 Text-to-image R@5: 84.5 |
| cross-modal-retrieval-with-noisy-3 | NAC | Image-to-text R@1: 80.3 Image-to-text R@10: 98.5 Image-to-text R@5: 96.2 R-Sum: 524.5 Text-to-image R@1: 63.2 Text-to-image R@10: 96.0 Text-to-image R@5: 90.3 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.