HyperAIHyperAI

Command Palette

Search for a command to run...

Wahrscheinlichkeitstheoretisches kontrastives Lernen für die Erkennung von langschwänzigen visuellen Daten

Chaoqun Du Yulin Wang Shiji Song Gao Huang

Zusammenfassung

Lange Schweife von Verteilungen treten häufig in realen Daten auf, wo eine große Anzahl von Minderheitskategorien nur eine begrenzte Anzahl von Beispielen enthält. Diese Ungleichverteilung beeinträchtigt erheblich die Leistung standardisierter überwachter Lernalgorithmen, die hauptsächlich für ausgewogene Trainingsdatensätze entwickelt wurden. Neuere Untersuchungen haben gezeigt, dass überwachtes kontrastives Lernen ein vielversprechendes Potenzial zur Milderung der Datenungleichverteilung aufweist. Allerdings wird die Leistung des überwachten kontrastiven Lernens durch eine inhärente Herausforderung behindert: Es erfordert ausreichend große Trainingsdatenpakete, um kontrastive Paare zu erstellen, die alle Kategorien abdecken, was im Kontext von klassenweise ungleich verteilten Daten schwer zu erfüllen ist. Um dieses Hindernis zu überwinden, schlagen wir einen neuen probabilistischen kontrastiven (ProCo) Lernalgorithmus vor, der die Datenverteilung der Beispiele jeder Klasse im Merkmalsraum schätzt und entsprechend kontrastive Paare generiert. Tatsächlich ist es bei ungleich verteilten Daten nicht möglich, die Verteilungen aller Klassen mit den Merkmalen eines kleinen Pakets zu schätzen. Unser zentrales Konzept besteht darin, eine vernünftige und einfache Annahme einzuführen: Die normierten Merkmale im kontrastiven Lernen folgen einer Mischung von von-Mises-Fisher-Verteilungen (vMF) im Einheitsraum, was zwei Vorteile bietet. Erstens können die Verteilungsparameter nur mit dem ersten Stichprobenmoment geschätzt werden, das effizient in einem Online-Modus über verschiedene Pakete berechnet werden kann. Zweitens ermöglicht uns die vMF-Verteilung basierend auf der geschätzten Verteilung das Entnehmen einer unendlichen Anzahl von kontrastiven Paaren sowie die Herleitung einer geschlossenen Form des erwarteten kontrastiven Verlusts für eine effiziente Optimierung. Unser Code ist unter https://github.com/LeapLabTHU/ProCo verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp