HyperAIHyperAI

Command Palette

Search for a command to run...

Gegen rauschende Etiketten durch Übereinstimmung: Ein gemeinsames Trainingsverfahren mit Co-Regularisierung

Hongxin Wei Lei Feng Xiangyu Chen Bo An

Zusammenfassung

Das Lernen mit verrauschten Etiketten stellt eine praktisch herausfordernde Aufgabe im Bereich des schwach überwachten Lernens dar. Die aktuell fortschrittlichsten Ansätze, „Decoupling“ und „Co-teaching+“, behaupten, dass die „Unstimmigkeitsstrategie“ entscheidend für die Milderung des Problems des Lernens mit verrauschten Etiketten sei. In diesem Paper gehen wir von einem anderen Ansatz aus und schlagen ein robusteres Lernparadigma namens JoCoR vor, das darauf abzielt, die Diversität zweier Netzwerke während des Trainings zu reduzieren. Konkret nutzen wir zunächst zwei Netzwerke, um Vorhersagen für dieselben Mini-Batches zu erzeugen, und berechnen für jedes Trainingsbeispiel eine gemeinsame Verlustfunktion mittels Co-Regularisierung. Anschließend wählen wir Beispiele mit geringem Verlust aus, um die Parameter beider Netzwerke gleichzeitig zu aktualisieren. Durch die gemeinsame Verlustfunktion und die Wirkung der Co-Regularisierung werden die beiden Netzwerke im Laufe des Trainings zunehmend ähnlicher. Ausführliche experimentelle Ergebnisse auf verfälschten Daten aus Standard-Datensätzen wie MNIST, CIFAR-10, CIFAR-100 und Clothing1M zeigen, dass JoCoR gegenüber vielen state-of-the-art-Methoden für das Lernen mit verrauschten Etiketten überlegen ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp