HyperAIHyperAI

Command Palette

Search for a command to run...

Untersuchung ausgewogener Merkmalsräume für die Repräsentationslernung

Jiashi Feng Zehuan Yuan Sa Xie Yu Li Bingyi Kang

Zusammenfassung

Bisherige selbstüberwachte Lernverfahren (Self-Supervised Learning, SSL) werden hauptsächlich zur Trainierung von Repräsentationsmodellen an künstlich ausgewogenen Datensätzen (z. B. ImageNet) eingesetzt. Unklar ist, wie gut diese Methoden in praktischen Szenarien abschneiden, in denen Datensätze häufig hinsichtlich der Klassen unbalanciert sind. Angeregt durch diese Frage führen wir eine Reihe von Studien durch, um die Leistungsfähigkeit selbstüberwachter kontrastiver Lernverfahren und überwachter Lernmethoden an mehreren Datensätzen zu untersuchen, bei denen die Verteilung der Trainingsinstanzen von ausgewogen bis stark langschwanzartig variiert. Unsere Ergebnisse sind äußerst aufschlussreich: Im Gegensatz zu überwachten Methoden, die bei stark unbalancierten Datensätzen erhebliche Leistungseinbußen aufweisen, zeigen selbstüberwachte kontrastive Lernverfahren eine stabile und hohe Leistung auch bei stark unbalancierten Daten. Dies motiviert uns, die ausgewogenen Merkmalsräume zu untersuchen, die durch kontrastives Lernen gelernt werden, in denen die Merkmalsrepräsentationen hinsichtlich aller Klassen eine ähnliche lineare Trennbarkeit aufweisen. Weitere Experimente zeigen, dass ein Repräsentationsmodell, das einen ausgewogenen Merkmalsraum erzeugt, in mehreren Szenarien besser generalisieren kann als eines, das einen unbalancierten Merkmalsraum erzeugt. Inspiriert durch diese Erkenntnisse entwickeln wir eine neue Methode für die Repräsentationslernung, die sogenannte kkk-positive kontrastive Lernung. Sie kombiniert effektiv die Stärken der überwachten Methode und des kontrastiven Lernens, um Repräsentationen zu erlernen, die sowohl diskriminativ als auch ausgewogen sind. Umfangreiche Experimente belegen ihre Überlegenheit bei mehreren Erkennungsaufgaben. Besonders bemerkenswert ist, dass sie neue SOTA-Ergebnisse (state-of-the-art) auf anspruchsvollen Benchmark-Aufgaben mit langschwanzartigen Verteilungen erzielt. Der Quellcode und die Modelle werden veröffentlicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Untersuchung ausgewogener Merkmalsräume für die Repräsentationslernung | Paper | HyperAI