Gegen rauschende Etiketten durch Übereinstimmung: Ein gemeinsames Trainingsverfahren mit Co-Regularisierung

Das Lernen mit verrauschten Etiketten stellt eine praktisch herausfordernde Aufgabe im Bereich des schwach überwachten Lernens dar. Die aktuell fortschrittlichsten Ansätze, „Decoupling“ und „Co-teaching+“, behaupten, dass die „Unstimmigkeitsstrategie“ entscheidend für die Milderung des Problems des Lernens mit verrauschten Etiketten sei. In diesem Paper gehen wir von einem anderen Ansatz aus und schlagen ein robusteres Lernparadigma namens JoCoR vor, das darauf abzielt, die Diversität zweier Netzwerke während des Trainings zu reduzieren. Konkret nutzen wir zunächst zwei Netzwerke, um Vorhersagen für dieselben Mini-Batches zu erzeugen, und berechnen für jedes Trainingsbeispiel eine gemeinsame Verlustfunktion mittels Co-Regularisierung. Anschließend wählen wir Beispiele mit geringem Verlust aus, um die Parameter beider Netzwerke gleichzeitig zu aktualisieren. Durch die gemeinsame Verlustfunktion und die Wirkung der Co-Regularisierung werden die beiden Netzwerke im Laufe des Trainings zunehmend ähnlicher. Ausführliche experimentelle Ergebnisse auf verfälschten Daten aus Standard-Datensätzen wie MNIST, CIFAR-10, CIFAR-100 und Clothing1M zeigen, dass JoCoR gegenüber vielen state-of-the-art-Methoden für das Lernen mit verrauschten Etiketten überlegen ist.