HyperAIHyperAI

Command Palette

Search for a command to run...

Zweifach kontrastives Lernen mit verrauschten Labels

Zhizhong Huang Junping Zhang Hongming Shan

Zusammenfassung

Das Lernen aus verrauschten Daten ist eine herausfordernde Aufgabe, die die Modellleistung erheblich beeinträchtigt. In diesem Artikel präsentieren wir TCL, ein neuartiges Doppelkontrastlern-Modell, das robuste Darstellungen lernt und verrauschte Etiketten für die Klassifikation behandelt. Konkret bauen wir ein Gauß-Mischmodell (GMM) über die Darstellungen auf, indem wir die Vorhersagen des überwachten Modells in das GMM integrieren, um die labelfreien latenten Variablen im GMM mit den verrauschten Etiketten zu verknüpfen. Anschließend erkennt TCL Beispiele mit falschen Etiketten als außerhalb der Verteilung liegende (out-of-distribution) Instanzen mittels eines zweikomponentigen GMMs, wobei die Datenverteilung berücksichtigt wird. Weiterhin schlagen wir eine Kreuzsupervision mit einer Entropieregelungsverlustfunktion vor, die die wahren Ziele aus den Modellvorhersagen ableitet, um mit verrauschten Etiketten umzugehen. Als Ergebnis kann TCL diskriminative Darstellungen lernen, die den geschätzten Etiketten durch Mixup- und Kontrastlernverfahren angepasst sind. Umfangreiche experimentelle Ergebnisse auf mehreren Standardbenchmarks und realen Datensätzen belegen die überlegene Leistung von TCL. Insbesondere erzielt TCL eine Verbesserung um 7,5 % bei CIFAR-10 mit 90 % verrauschten Etiketten – einer äußerst verrauschten Situation. Der Quellcode ist unter \url{https://github.com/Hzzone/TCL} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp