End-to-End Weak Supervision

Die Aggregation mehrerer Quellen schwacher Aufsicht (Weak Supervision, WS) kann die durch Datenbeschriftung verursachte Engstelle in vielen Anwendungen des maschinellen Lernens erleichtern, indem sie die mühsame manuelle Erhebung von Ground-Truth-Labels ersetzt. Aktuelle State-of-the-Art-Ansätze, die keinerlei gelabelte Trainingsdaten verwenden, erfordern jedoch zwei getrennte Modellierungsphasen: Zunächst wird ein probabilistisches Latent-Variable-Modell auf Basis der WS-Quellen gelernt – wobei Annahmen getroffen werden, die in der Praxis selten erfüllt sind – gefolgt von der Trainingsphase eines nachgeschalteten Modells. Wichtig ist, dass die erste Modellierungsphase die Leistung des nachgeschalteten Modells nicht berücksichtigt. Um diese Nachteile zu beheben, schlagen wir einen end-to-end-Ansatz vor, bei dem das nachgeschaltete Modell direkt durch Maximierung der Übereinstimmung mit probabilistischen Labels gelernt wird, die durch Reparameterisierung vorheriger probabilistischer Posteriors mittels eines neuronalen Netzwerks generiert werden. Unsere Ergebnisse zeigen eine verbesserte Leistung gegenüber vorhergehenden Arbeiten sowohl hinsichtlich der Endmodellleistung auf nachgeschalteten Testsets als auch hinsichtlich einer erhöhten Robustheit gegenüber Abhängigkeiten zwischen den Quellen schwacher Aufsicht.