Rauschige Korrespondenzlernen mit selbstverstärkender Fehlerminderung

Die cross-modale Retrieval basiert auf gut abgestimmten, groß angelegten Datensätzen, die in der Praxis mühsam zu erstellen sind. Kürzlich wurden, um die teure Datensammlung zu erleichtern, automatisch aus dem Internet co-auftretende Paare für das Training gewonnen. Dies beinhaltet jedoch unvermeidlich fehlerhafte Paare, d.h., störende Korrespondenzen, die die Zuverlässigkeit der Überwachung beeinträchtigen und die Leistung verschlechtern. Aktuelle Methoden nutzen den Memorierungseffekt tiefster Neuronaler Netze, um störende Korrespondenzen zu behandeln. Dabei konzentrieren sie sich übermäßig auf \emph{ähnlichkeitsgeleitete Trainingsmethoden mit schweren Negativen (similarity-guided training with hard negatives)} und leiden unter selbst verstärkenden Fehlern. Im Lichte dieser Erkenntnisse stellen wir einen neuen Lernrahmen für störende Korrespondenzen vor: \textbf{S}elbst-\textbf{V}erstärkungsfehler-\textbf{M}inderung (\textbf{SVM}, Self-\textbf{R}einforcing \textbf{E}rrors \textbf{M}itigation). Insbesondere betrachten wir das Sample-Matching als Klassifizierungsaufgaben innerhalb des Batches und generieren Klassifikationslogits für das gegebene Sample. Anstatt einem einzelnen Ähnlichkeitswert räumen wir durch Energieunsicherheit eine Verfeinerung der Sample-Filterung ein und schätzen die Sensitivität des Modells für ausgewählte saubere Samples unter Verwendung von vertauschten Klassifikationsentropien im Hinblick auf die gesamte Verteilung der Vorhersagen ein. Zudem schlagen wir eine cross-modale verzerrende komplementäre Lernmethode vor, um negative Matches zu nutzen, die bei der Trainingsmethode mit schweren Negativen übersehen werden, was die Stabilität der Modelloptimierung weiter verbessert und selbst verstärkende Fehler eindämmt. Umfangreiche Experimente an anspruchsvollen Benchmarks bestätigen die Effektivität und Effizienz von SVM (SREM).