HyperAIHyperAI

Command Palette

Search for a command to run...

Langschwänzige Erkennung durch Maximierung der gegenseitigen Information zwischen latenten Merkmalen und wahren Beschriftungen

Min-Kook Suh Seung-Woo Seo

Zusammenfassung

Obwohl contrastive Learning-Methoden auf einer Vielzahl von Aufgaben der Repräsentationslernen eine überlegene Leistung erzielt haben, stoßen sie bei langen, schiefen Datensätzen auf Schwierigkeiten. Viele Forscher haben contrastive Learning mit einer Logit-Anpassungstechnik kombiniert, um dieses Problem anzugehen, doch diese Kombinationen erfolgen bisher ad-hoc, ohne dass eine theoretische Grundlage bereitgestellt wurde. Ziel dieser Arbeit ist es, eine solche theoretische Grundlage zu liefern und zudem die Leistung weiter zu verbessern. Zunächst zeigen wir, dass der grundlegende Grund dafür, dass contrastive Learning-Methoden bei langen, schiefen Aufgaben Schwierigkeiten haben, darin liegt, dass sie die wechselseitige Information zwischen latenten Merkmalen und Eingabedaten maximieren. Da bei dieser Maximierung die wahren Labels nicht berücksichtigt werden, können sie die Ungleichgewichte zwischen den Klassen nicht adressieren. Stattdessen interpretieren wir die Aufgabe der langen, schiefen Erkennung als Maximierung der wechselseitigen Information zwischen latenten Merkmalen und den wahren Labels. Dieser Ansatz integriert contrastive Learning und Logit-Anpassung nahtlos und führt zu einer Verlustfunktion, die auf Benchmarks für lange, schiefen Erkennung eine state-of-the-art-Leistung erzielt. Zudem zeigt sie ihre Wirksamkeit auch bei Aufgaben der Bildsegmentierung und bestätigt so ihre Vielseitigkeit jenseits der Bildklassifikation.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp