Lernen mit verrauschten Etiketten durch selbstüberwachtes adversariales maskiertes Rauschen

Die Erhebung großskaliger Datensätze ist entscheidend für das Training tiefer Modelle; die Datenannotierung führt jedoch unweigerlich zu fehlerhaften Etiketten, was tiefen Lernverfahren erhebliche Herausforderungen bereitet. Bisherige Ansätze versuchten, dieses Problem durch Identifizierung und Entfernung von fehlerhaften Proben oder durch Korrektur ihrer Etiketten anhand statistischer Eigenschaften (z. B. Verlustwerte) unter den Trainingsproben zu mildern. In diesem Paper greifen wir das Problem aus einer neuen Perspektive an und untersuchen tiefgehend die Merkmalskarten. Experimentell beobachten wir, dass Modelle, die mit sauberen und falsch etikettierten Proben trainiert wurden, deutlich unterscheidbare Aktivierungsmerkmalsverteilungen aufweisen. Auf dieser Beobachtung basiert ein neuartiger robuster Trainingsansatz, der als adversarische maskierende Behandlung fehlerhafter Daten (adversarial noisy masking) bezeichnet wird. Der Ansatz regularisiert tiefgehende Merkmale mittels einer maschinenbasierten Maskierung, die durch die Qualität der Etiketten geleitet wird. Diese Methode moduliert adaptiv sowohl die Eingabedaten als auch die Etiketten gleichzeitig und verhindert so eine Überanpassung an fehlerhafte Proben. Zudem wird eine Hilfsaufgabe entworfen, um die Eingabedaten zu rekonstruieren, die natürlicherweise fehlerfreie, selbstüberwachte Signale liefert und die Generalisierungsfähigkeit tiefer Modelle verstärkt. Der vorgeschlagene Ansatz ist einfach und flexibel und wurde sowohl auf synthetischen als auch auf realen Datensätzen mit Rauschen getestet, wobei er gegenüber bisherigen state-of-the-art-Methoden signifikante Verbesserungen erzielt.