Steigerung der Co-Teaching-Methode durch Kompressionsregularisierung zur Bewältigung von Label-Rauschen

In diesem Paper untersuchen wir das Problem des Lernens von Bildklassifizierungsmodellen in Gegenwart von Label-Rauschen. Wir überprüfen erneut eine einfache Kompressions-Regularisierung namens Nested Dropout. Wir stellen fest, dass Nested Dropout, obwohl ursprünglich zur schnellen Informationsabrufung und adaptiven Datenkompression vorgeschlagen wurde, geeignet ist, ein neuronales Netzwerk angemessen zu regularisieren, um sich gegen Label-Rauschen zu wehren. Darüber hinaus kann seine Einfachheit leicht mit Co-teaching kombiniert werden, um die Leistung weiter zu steigern.Unser endgültiges Modell bleibt einfach, aber wirksam: Es erreicht auf zwei realen Datensätzen mit Label-Rauschen – Clothing1M und ANIMAL-10N – eine Leistung, die mit oder sogar besser ist als die der State-of-the-Art-Ansätze. Auf Clothing1M erzielen wir eine Genauigkeit von 74,9 %, was leicht über der von DivideMix liegt. Auf ANIMAL-10N erreichen wir eine Genauigkeit von 84,1 %, während das beste öffentliche Ergebnis durch PLC bei 83,4 % liegt. Wir hoffen, dass unsere einfache Methode als starker Baseline für das Lernen unter Label-Rauschen dienen kann. Unsere Implementierung ist unter https://github.com/yingyichen-cyy/Nested-Co-teaching verfügbar.