REPAIR: Rangkorrelation und halbweiser Ersatz störungsbehafteter Paare mit Speicher für störungsbehaftete Korrespondenzen

Die Anwesenheit von Rauschen in erworbenen Daten führt unvermeidlich zu einer Leistungsverschlechterung bei der modalitätsübergreifenden Zuordnung. Leider ist die Erstellung präziser Annotationen im multimodalen Bereich kostspielig, was einige Methoden zur Bewältigung des Problems von fehlerhaften Datensätzen in modalitätsübergreifenden Kontexten, als noisy correspondence bezeichnet, angeregt hat. Dennoch weisen die meisten dieser existierenden noisy-correspondence-Methoden folgende Einschränkungen auf: a) das Problem der selbst verstärkenden Fehlerakkumulation und b) eine unangemessene Behandlung fehlerhafter Datensätze. Um diese beiden Probleme anzugehen, schlagen wir ein verallgemeinertes Framework vor, das als Rank corrElation and noisy Pair hAlf-replacing wIth memoRy (REPAIR) bezeichnet wird, welches von einem Merkspeicher für die Merkmale zugeordneter Paare profitiert.Speziell berechnen wir die Distanzen zwischen den Merkmalen im Merkspeicher und denen des Ziel-Paares für jede jeweilige Modalität und verwenden die Rangkorrelation dieser beiden Distanzmengen, um das weiche Zuordnungslabel des Ziel-Paares zu schätzen. Die Schätzung eines weichen Zuordnungslabels basierend auf den Merkmalen des Merkspeichers anstelle der Verwendung eines Ähnlichkeitsnetzwerks kann die Fehlerakkumulation durch fehlerhafte Netzwerkidentifikationen vermeiden. Für vollständig nicht übereinstimmende Paare sucht REPAIR im Merkspeicher nach dem am besten passenden Merkmal, um ein Merkmal einer Modalität zu ersetzen, anstatt das ursprüngliche Paar direkt zu verwenden oder das nicht übereinstimmende Paar einfach zu verworfen.Wir führen Experimente auf drei modalitätsübergreifenden Datensätzen durch, nämlich Flickr30K, MSCOCO und CC152K, um die Effektivität und Robustheit unseres REPAIR bei synthetischem und realweltlichen Rauschen zu beweisen.