HyperAIHyperAI

Command Palette

Search for a command to run...

Selektives überwachtes kontrastives Lernen mit verrauschten Etiketten

Shikun Li Xiaobo Xia Shiming Ge Tongliang Liu

Zusammenfassung

Tiefen Netze verfügen über starke Fähigkeiten, Daten in latente Darstellungen einzubetten und anschließende Aufgaben zu bewältigen. Allerdings beruhen diese Fähigkeiten weitgehend auf hochwertigen annotierten Etiketten, die kostspielig zu sammeln sind. Rauschhafte Etiketten sind dagegen kostengünstiger, führen jedoch zu verfälschten Darstellungen und damit zu einer schlechten Generalisierungsfähigkeit. Um robuste Darstellungen zu lernen und mit rauschhaften Etiketten umgehen zu können, schlagen wir in diesem Paper selektiv überwachte kontrastive Lernverfahren (Sel-CL) vor. Konkret erweitert Sel-CL das überwachte kontrastive Lernen (Sup-CL), das sich als leistungsfähig im Bereich der Darstellungslernung erwiesen hat, jedoch unter rauschhaften Etiketten abnimmt. Sel-CL adressiert die direkte Ursache dieses Problems bei Sup-CL: Da Sup-CL auf einer paarweisen Weise arbeitet, führen die durch rauschhafte Etiketten entstandenen fehlerhaften Paare die Darstellungslernung in die Irre. Um dieses Problem zu mildern, selektieren wir vertrauenswürdige Paare aus den rauschhaften Paaren heraus, ohne die Rauschrate kennen zu müssen. Im Selektionsprozess messen wir zunächst die Übereinstimmung zwischen den gelernten Darstellungen und den gegebenen Etiketten, um vertrauenswürdige Beispiele zu identifizieren, die zur Erstellung vertrauenswürdiger Paare genutzt werden. Anschließend nutzen wir die Verteilung der Ähnlichkeit zwischen Darstellungen in diesen vertrauenswürdigen Paaren, um weitere vertrauenswürdige Paare aus den rauschhaften Paaren zu identifizieren. Alle gewonnenen vertrauenswürdigen Paare werden schließlich für das Sup-CL verwendet, um die Darstellungen zu verbessern. Experimente an mehreren Datensätzen mit Rauschen demonstrieren die Robustheit der von unserem Ansatz gelernten Darstellungen, wobei die Leistung den Stand der Technik erreicht. Der Quellcode ist unter https://github.com/ShikunLi/Sel-CL verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Selektives überwachtes kontrastives Lernen mit verrauschten Etiketten | Paper | HyperAI