ReCon: Verbesserung der echten Korrespondenz-Differenzierung durch relationale Konsistenz für robuste Lernverfahren bei verrauschten Korrespondenzen

Können wir die echten Korrespondenzen aus multimodalen Datensätzen mit fehlerhaften Datapaaren präzise identifizieren? Bisherige Ansätze betonen hauptsächlich die Ähnlichkeitsanpassung zwischen den Darstellungen von Objekten über verschiedene Modalitäten hinweg und vernachlässigen dabei möglicherweise die entscheidende relationale Konsistenz innerhalb der Modalitäten, die besonders wichtig ist, um echte von falschen Korrespondenzen zu unterscheiden. Eine solche Vernachlässigung birgt häufig die Gefahr, negative Paare fälschlicherweise als positive zu klassifizieren, was zu einer unerwarteten Leistungsverschlechterung führen kann. Um dieses Problem anzugehen, schlagen wir einen allgemeinen Rahmen für Relationalkonsistenz-Lernen vor, namens ReCon, der die präzise Unterscheidung echter Korrespondenzen in multimodalen Daten ermöglicht und somit die negativen Auswirkungen von Fehlzuordnungen effektiv verringert. Konkret nutzt ReCon ein neuartiges Lernverfahren zur relationale Konsistenz, um eine doppelte Ausrichtung zu gewährleisten: einmal die zwischenmodale relationale Konsistenz zwischen verschiedenen Modalitäten und zum anderen die innermodale relationale Konsistenz innerhalb jeder Modality. Durch diese doppelte Beschränkung der Relationen wird die Effektivität von ReCon erheblich gesteigert, was die zuverlässige Filterung fehlerhafter Paare ermöglicht und somit das Risiko falscher Supervisionen reduziert. Um die Wirksamkeit und Überlegenheit von ReCon gegenüber anderen State-of-the-Art-Methoden zu demonstrieren, wurden umfangreiche Experimente auf drei weit verbreiteten Benchmark-Datensätzen durchgeführt: Flickr30K, MS-COCO und Conceptual Captions. Der Quellcode ist unter folgender URL verfügbar: https://github.com/qxzha/ReCon.