HyperAIHyperAI

Command Palette

Search for a command to run...

Schwach beschriftete kontrastive Lernverfahren

Mingkai Zheng Fei Wang Shan You Chen Qian Changshui Zhang Xiaogang Wang Chang Xu

Zusammenfassung

Unüberwachtes Lernen visueller Darstellungen hat in der Computer Vision-Community aufgrund der jüngsten Fortschritte im Bereich des kontrastiven Lernens erhebliche Aufmerksamkeit erfahren. Die meisten bestehenden kontrastiven Lernframeworks setzen die Instanzdiskriminierung als Vor-Aufgabe ein, bei der jede einzelne Instanz als eine unterschiedliche Klasse betrachtet wird. Dieser Ansatz führt jedoch zwangsläufig zu Klassenkollisionen, die die Qualität der gelernten Darstellungen beeinträchtigen. Ausgehend von dieser Beobachtung stellen wir ein schwach überwachtes kontrastives Lernframework (WCL) vor, um dieses Problem zu adressieren. Konkret basiert unser vorgeschlagenes Framework auf zwei Projektionsköpfen: Der eine Kopf führt die klassische Instanzdiskriminierung durch, während der andere Kopf eine graphbasierte Methode nutzt, um ähnliche Beispiele zu erkennen und schwache Labels zu generieren. Auf Basis dieser schwachen Labels wird anschließend ein überwachtes kontrastives Lernen durchgeführt, um ähnliche Bilder enger zusammenzurücken. Darüber hinaus führen wir eine K-Nächste-Nachbarn-basierte Multi-Crop-Strategie ein, um die Anzahl positiver Beispiele zu erhöhen. Umfangreiche experimentelle Ergebnisse zeigen, dass WCL die Qualität selbstüberwachter Darstellungen auf verschiedenen Datensätzen verbessert. Besonders hervorzuheben ist, dass wir eine neue State-of-the-Art-Leistung im Bereich des halbüberwachten Lernens erzielen. Mit lediglich 1 % und 10 % gelabelten Beispielen erreicht WCL bei Verwendung von ResNet50 eine Top-1-Accuracy von 65 % bzw. 72 % auf ImageNet – Werte, die sogar die Ergebnisse von SimCLRv2 mit ResNet101 übersteigen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp