HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Untersuchung ausgewogener Merkmalsräume für die Repräsentationslernung

{Jiashi Feng Zehuan Yuan Sa Xie Yu Li Bingyi Kang}

Untersuchung ausgewogener Merkmalsräume für die Repräsentationslernung

Abstract

Bisherige selbstüberwachte Lernverfahren (Self-Supervised Learning, SSL) werden hauptsächlich zur Trainierung von Repräsentationsmodellen an künstlich ausgewogenen Datensätzen (z. B. ImageNet) eingesetzt. Unklar ist, wie gut diese Methoden in praktischen Szenarien abschneiden, in denen Datensätze häufig hinsichtlich der Klassen unbalanciert sind. Angeregt durch diese Frage führen wir eine Reihe von Studien durch, um die Leistungsfähigkeit selbstüberwachter kontrastiver Lernverfahren und überwachter Lernmethoden an mehreren Datensätzen zu untersuchen, bei denen die Verteilung der Trainingsinstanzen von ausgewogen bis stark langschwanzartig variiert. Unsere Ergebnisse sind äußerst aufschlussreich: Im Gegensatz zu überwachten Methoden, die bei stark unbalancierten Datensätzen erhebliche Leistungseinbußen aufweisen, zeigen selbstüberwachte kontrastive Lernverfahren eine stabile und hohe Leistung auch bei stark unbalancierten Daten. Dies motiviert uns, die ausgewogenen Merkmalsräume zu untersuchen, die durch kontrastives Lernen gelernt werden, in denen die Merkmalsrepräsentationen hinsichtlich aller Klassen eine ähnliche lineare Trennbarkeit aufweisen. Weitere Experimente zeigen, dass ein Repräsentationsmodell, das einen ausgewogenen Merkmalsraum erzeugt, in mehreren Szenarien besser generalisieren kann als eines, das einen unbalancierten Merkmalsraum erzeugt. Inspiriert durch diese Erkenntnisse entwickeln wir eine neue Methode für die Repräsentationslernung, die sogenannte kkk-positive kontrastive Lernung. Sie kombiniert effektiv die Stärken der überwachten Methode und des kontrastiven Lernens, um Repräsentationen zu erlernen, die sowohl diskriminativ als auch ausgewogen sind. Umfangreiche Experimente belegen ihre Überlegenheit bei mehreren Erkennungsaufgaben. Besonders bemerkenswert ist, dass sie neue SOTA-Ergebnisse (state-of-the-art) auf anspruchsvollen Benchmark-Aufgaben mit langschwanzartigen Verteilungen erzielt. Der Quellcode und die Modelle werden veröffentlicht.

Benchmarks

BenchmarkMethodikMetriken
long-tail-learning-on-cifar-10-lt-r-10KCL
Error Rate: 12.00
long-tail-learning-on-imagenet-ltKCL
Top-1 Accuracy: 51.5

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Untersuchung ausgewogener Merkmalsräume für die Repräsentationslernung | Forschungsarbeiten | HyperAI