Langschwänzige Erkennung durch Maximierung der gegenseitigen Information zwischen latenten Merkmalen und wahren Beschriftungen

Obwohl contrastive Learning-Methoden auf einer Vielzahl von Aufgaben der Repräsentationslernen eine überlegene Leistung erzielt haben, stoßen sie bei langen, schiefen Datensätzen auf Schwierigkeiten. Viele Forscher haben contrastive Learning mit einer Logit-Anpassungstechnik kombiniert, um dieses Problem anzugehen, doch diese Kombinationen erfolgen bisher ad-hoc, ohne dass eine theoretische Grundlage bereitgestellt wurde. Ziel dieser Arbeit ist es, eine solche theoretische Grundlage zu liefern und zudem die Leistung weiter zu verbessern. Zunächst zeigen wir, dass der grundlegende Grund dafür, dass contrastive Learning-Methoden bei langen, schiefen Aufgaben Schwierigkeiten haben, darin liegt, dass sie die wechselseitige Information zwischen latenten Merkmalen und Eingabedaten maximieren. Da bei dieser Maximierung die wahren Labels nicht berücksichtigt werden, können sie die Ungleichgewichte zwischen den Klassen nicht adressieren. Stattdessen interpretieren wir die Aufgabe der langen, schiefen Erkennung als Maximierung der wechselseitigen Information zwischen latenten Merkmalen und den wahren Labels. Dieser Ansatz integriert contrastive Learning und Logit-Anpassung nahtlos und führt zu einer Verlustfunktion, die auf Benchmarks für lange, schiefen Erkennung eine state-of-the-art-Leistung erzielt. Zudem zeigt sie ihre Wirksamkeit auch bei Aufgaben der Bildsegmentierung und bestätigt so ihre Vielseitigkeit jenseits der Bildklassifikation.