Wahrscheinlichkeitstheoretisches kontrastives Lernen für die Erkennung von langschwänzigen visuellen Daten

Lange Schweife von Verteilungen treten häufig in realen Daten auf, wo eine große Anzahl von Minderheitskategorien nur eine begrenzte Anzahl von Beispielen enthält. Diese Ungleichverteilung beeinträchtigt erheblich die Leistung standardisierter überwachter Lernalgorithmen, die hauptsächlich für ausgewogene Trainingsdatensätze entwickelt wurden. Neuere Untersuchungen haben gezeigt, dass überwachtes kontrastives Lernen ein vielversprechendes Potenzial zur Milderung der Datenungleichverteilung aufweist. Allerdings wird die Leistung des überwachten kontrastiven Lernens durch eine inhärente Herausforderung behindert: Es erfordert ausreichend große Trainingsdatenpakete, um kontrastive Paare zu erstellen, die alle Kategorien abdecken, was im Kontext von klassenweise ungleich verteilten Daten schwer zu erfüllen ist. Um dieses Hindernis zu überwinden, schlagen wir einen neuen probabilistischen kontrastiven (ProCo) Lernalgorithmus vor, der die Datenverteilung der Beispiele jeder Klasse im Merkmalsraum schätzt und entsprechend kontrastive Paare generiert. Tatsächlich ist es bei ungleich verteilten Daten nicht möglich, die Verteilungen aller Klassen mit den Merkmalen eines kleinen Pakets zu schätzen. Unser zentrales Konzept besteht darin, eine vernünftige und einfache Annahme einzuführen: Die normierten Merkmale im kontrastiven Lernen folgen einer Mischung von von-Mises-Fisher-Verteilungen (vMF) im Einheitsraum, was zwei Vorteile bietet. Erstens können die Verteilungsparameter nur mit dem ersten Stichprobenmoment geschätzt werden, das effizient in einem Online-Modus über verschiedene Pakete berechnet werden kann. Zweitens ermöglicht uns die vMF-Verteilung basierend auf der geschätzten Verteilung das Entnehmen einer unendlichen Anzahl von kontrastiven Paaren sowie die Herleitung einer geschlossenen Form des erwarteten kontrastiven Verlusts für eine effiziente Optimierung. Unser Code ist unter https://github.com/LeapLabTHU/ProCo verfügbar.