Partielle Labelüberwachung für agnostisches generatives Lernen mit verrauschten Labels

Das Lernen von verrauschten Labels wurde sowohl mit diskriminativen als auch mit generativen Ansätzen angegangen. Obwohl die diskriminativen Methoden einfach und effizient sind, bieten generative Modelle eine präzisere Methode zur Trennung von sauberen und verrauschten Labels sowie zur Schätzung der Label-Übergangsmatrix. Bestehende generative Methoden erfordern jedoch oft die Inferenz zusätzlicher latenter Variablen durch aufwändige generative Module oder heuristische Annahmen, was die anpassungsfähige Optimierung für verschiedene Kausalitätsrichtungen erschwert. Sie gehen auch davon aus, dass die Priorverteilung der sauberen Labels gleichverteilt ist, was die stichprobenweise Verteilung und Unsicherheit der sauberen Labels nicht widerspiegelt. In dieser Arbeit schlagen wir ein neues Framework für das generative Lernen von verrauschten Labels vor, das diese Herausforderungen angeht. Erstens schlagen wir eine neue Einzelstufenoptimierung vor, die die Bildgenerierung direkt durch die Ausgabe eines diskriminativen Klassifikators approximiert. Diese Approximation reduziert den Rechenaufwand der Bildgenerierung erheblich, behält gleichzeitig die Vorteile des generativen Modellierens und ermöglicht es unserem Framework, kausalitätsbezogene Szenarien (d.h., Bild erzeugt Label oder umgekehrt) unabhängig zu behandeln. Zweitens führen wir eine neue partielle Labelüberwachung (Partial Label Supervision, PLS) für das Lernen von verrauschten Labels ein, die sowohl die Abdeckung sauberer Labels als auch deren Unsicherheit berücksichtigt. Die Überwachung durch PLS zielt nicht nur darauf ab, den Verlust zu minimieren, sondern strebt an, die zugrundeliegende stichprobenweise Verteilung und Unsicherheit der sauberen Labels zu erfassen. Umfangreiche Experimente an Benchmarks aus dem Bereich Computer Vision und Natural Language Processing (NLP) zeigen, dass unser generatives Modell erstklassige Ergebnisse erzielt und dabei den Rechenaufwand erheblich reduziert. Unser Code ist unter https://github.com/lfb-1/GNL verfügbar.