Selektives überwachtes kontrastives Lernen mit verrauschten Etiketten

Tiefen Netze verfügen über starke Fähigkeiten, Daten in latente Darstellungen einzubetten und anschließende Aufgaben zu bewältigen. Allerdings beruhen diese Fähigkeiten weitgehend auf hochwertigen annotierten Etiketten, die kostspielig zu sammeln sind. Rauschhafte Etiketten sind dagegen kostengünstiger, führen jedoch zu verfälschten Darstellungen und damit zu einer schlechten Generalisierungsfähigkeit. Um robuste Darstellungen zu lernen und mit rauschhaften Etiketten umgehen zu können, schlagen wir in diesem Paper selektiv überwachte kontrastive Lernverfahren (Sel-CL) vor. Konkret erweitert Sel-CL das überwachte kontrastive Lernen (Sup-CL), das sich als leistungsfähig im Bereich der Darstellungslernung erwiesen hat, jedoch unter rauschhaften Etiketten abnimmt. Sel-CL adressiert die direkte Ursache dieses Problems bei Sup-CL: Da Sup-CL auf einer paarweisen Weise arbeitet, führen die durch rauschhafte Etiketten entstandenen fehlerhaften Paare die Darstellungslernung in die Irre. Um dieses Problem zu mildern, selektieren wir vertrauenswürdige Paare aus den rauschhaften Paaren heraus, ohne die Rauschrate kennen zu müssen. Im Selektionsprozess messen wir zunächst die Übereinstimmung zwischen den gelernten Darstellungen und den gegebenen Etiketten, um vertrauenswürdige Beispiele zu identifizieren, die zur Erstellung vertrauenswürdiger Paare genutzt werden. Anschließend nutzen wir die Verteilung der Ähnlichkeit zwischen Darstellungen in diesen vertrauenswürdigen Paaren, um weitere vertrauenswürdige Paare aus den rauschhaften Paaren zu identifizieren. Alle gewonnenen vertrauenswürdigen Paare werden schließlich für das Sup-CL verwendet, um die Darstellungen zu verbessern. Experimente an mehreren Datensätzen mit Rauschen demonstrieren die Robustheit der von unserem Ansatz gelernten Darstellungen, wobei die Leistung den Stand der Technik erreicht. Der Quellcode ist unter https://github.com/ShikunLi/Sel-CL verfügbar.