Zentralität und Konsistenz: Zwei-Stufen-Identifikation sauberer Samples für das Lernen mit instanzabhängigen verrauschten Labels

Tiefen Modelle, die mit verrauschten Etiketten trainiert werden, neigen stark zur Überanpassung und zeigen Schwächen bei der Generalisierung. Die meisten bestehenden Lösungsansätze basieren auf der idealisierten Annahme, dass die Etikettierungsrauschkomponente klassenbedingt ist, d.h., dass Instanzen derselben Klasse dasselbe Rauschmodell aufweisen und unabhängig von ihren Merkmalen sind. In der Praxis sind die tatsächlichen Rauschmuster jedoch meist feinkörniger und instanzabhängig, was eine große Herausforderung darstellt, insbesondere bei Vorhandensein von Klassenungleichgewichten. In diesem Artikel stellen wir eine zweistufige Methode zur Identifikation sauberer Beispiele vor, um diese Herausforderung zu bewältigen. Zunächst führen wir ein klassenbasiertes Merkmalsclustering durch, um bereits in einer frühen Phase saubere Beispiele zu identifizieren, die nahe an den klassenweisen Vorhersagezentren liegen. Insbesondere behandeln wir das Problem der Klassenungleichgewichte, indem wir seltene Klassen gemäß ihrer Vorhersageentropie aggregieren. Im zweiten Schritt befassen wir uns mit den verbleibenden sauberen Beispielen, die sich in der Nähe der Grenze zwischen den wahren Klassen befinden (in der Regel gemeinsam mit Instanzen, die instanzabhängigen Rauschkomponenten unterliegen). Hierfür schlagen wir eine neuartige, konsistenzbasierte Klassifikationsmethode vor, die die Identifizierung dieser Beispiele aufgrund der Konsistenz zweier Klassifikatorköpfe ermöglicht: Je höher die Konsistenz, desto größer die Wahrscheinlichkeit, dass ein Beispiel sauber ist. Umfassende Experimente auf mehreren anspruchsvollen Benchmarks belegen die überlegene Leistung unseres Ansatzes gegenüber den aktuellen State-of-the-Art-Methoden.