HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen mit verrauschten Etiketten durch selbstüberwachtes adversariales maskiertes Rauschen

Yuanpeng Tu Boshen Zhang Yuxi Li Liang Liu Jian Li Jiangning Zhang Yabiao Wang Chengjie Wang Cai Rong Zhao

Zusammenfassung

Die Erhebung großskaliger Datensätze ist entscheidend für das Training tiefer Modelle; die Datenannotierung führt jedoch unweigerlich zu fehlerhaften Etiketten, was tiefen Lernverfahren erhebliche Herausforderungen bereitet. Bisherige Ansätze versuchten, dieses Problem durch Identifizierung und Entfernung von fehlerhaften Proben oder durch Korrektur ihrer Etiketten anhand statistischer Eigenschaften (z. B. Verlustwerte) unter den Trainingsproben zu mildern. In diesem Paper greifen wir das Problem aus einer neuen Perspektive an und untersuchen tiefgehend die Merkmalskarten. Experimentell beobachten wir, dass Modelle, die mit sauberen und falsch etikettierten Proben trainiert wurden, deutlich unterscheidbare Aktivierungsmerkmalsverteilungen aufweisen. Auf dieser Beobachtung basiert ein neuartiger robuster Trainingsansatz, der als adversarische maskierende Behandlung fehlerhafter Daten (adversarial noisy masking) bezeichnet wird. Der Ansatz regularisiert tiefgehende Merkmale mittels einer maschinenbasierten Maskierung, die durch die Qualität der Etiketten geleitet wird. Diese Methode moduliert adaptiv sowohl die Eingabedaten als auch die Etiketten gleichzeitig und verhindert so eine Überanpassung an fehlerhafte Proben. Zudem wird eine Hilfsaufgabe entworfen, um die Eingabedaten zu rekonstruieren, die natürlicherweise fehlerfreie, selbstüberwachte Signale liefert und die Generalisierungsfähigkeit tiefer Modelle verstärkt. Der vorgeschlagene Ansatz ist einfach und flexibel und wurde sowohl auf synthetischen als auch auf realen Datensätzen mit Rauschen getestet, wobei er gegenüber bisherigen state-of-the-art-Methoden signifikante Verbesserungen erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp