Komprimierung von Merkmalen für das Lernen mit verrauschten Labels

Überwachtes Lernen kann als die Verdichtung relevanter Informationen aus Eingabedaten in Merkmalsdarstellungen verstanden werden. Dieser Prozess wird schwierig, wenn die Überwachung verrauscht ist, da die verdichteten Informationen möglicherweise nicht mehr relevant sind. Tatsächlich zeigt jüngste Forschung, dass Netzwerke leicht alle Labels überanpassen können, einschließlich solcher, die beschädigt sind, und daher nur schwer auf saubere Datensätze generalisieren. In diesem Paper konzentrieren wir uns auf das Lernen mit verrauschten Labels und führen eine Kompressions-induktive Voreingenommenheit in Netzwerkarchitekturen ein, um dieses Überanpassungsproblem zu mildern. Genauer betrachten wir eine klassische Regularisierung namens Dropout und seine Variante Nested Dropout. Dropout kann als Kompressionsbeschränkung fungieren, da er Merkmale abschaltet, während Nested Dropout zusätzliche geordnete Merkmalsdarstellungen bezüglich der Merkmalsbedeutsamkeit lernt. Darüber hinaus werden die mit Kompressionsregularisierung trainierten Modelle weiterhin mit Co-teaching kombiniert, um die Leistung zu steigern.Theoretisch führen wir eine Bias-Varianz-Zerlegung der Zielfunktion unter Kompressionsregularisierung durch. Diese Analyse wird sowohl für ein einzelnes Modell als auch für Co-teaching durchgeführt. Diese Zerlegung liefert drei zentrale Erkenntnisse: (i) Sie zeigt, dass Überanpassung tatsächlich ein zentrales Problem beim Lernen mit verrauschten Labels ist; (ii) mithilfe einer Informationsbottleneck-Formulierung wird erklärt, warum die vorgeschlagene Merkmalsverdichtung effektiv gegen Label-Rauschen wirkt; (iii) sie erläutert die Leistungssteigerung, die sich aus der Integration der Kompressionsregularisierung in Co-teaching ergibt. Experimente zeigen, dass unser einfacher Ansatz auf Benchmarks mit realen Label-Rauschen, wie Clothing1M und ANIMAL-10N, vergleichbare oder sogar bessere Ergebnisse erzielt als aktuelle State-of-the-Art-Methoden. Unsere Implementierung ist unter https://yingyichen-cyy.github.io/CompressFeatNoisyLabels/ verfügbar.