HyperAIHyperAI

Command Palette

Search for a command to run...

Was macht gute Ansichten für das kontrastive Lernen aus?

Yonglong Tian Chen Sun Ben Poole Dilip Krishnan Cordelia Schmid Phillip Isola

Zusammenfassung

Die kontrastive Lernmethode zwischen mehreren Datenansichten hat in jüngster Zeit bahnbrechende Ergebnisse im Bereich des selbstüberwachten Darstellungslernens erzielt. Trotz dieses Erfolgs wurde der Einfluss verschiedener Ansichtswahlstrategien bisher weniger gründlich untersucht. In dieser Arbeit führen wir eine theoretische und empirische Analyse durch, um die Bedeutung der Ansichtsauswahl besser zu verstehen, und argumentieren, dass der gegenseitige Informationsgehalt (Mutual Information, MI) zwischen den Ansichten reduziert werden sollte, während gleichzeitig informationsrelevante Merkmale für die Aufgabe erhalten bleiben müssen. Um diese Hypothese zu überprüfen, entwickeln wir unsupervisierte und halb-supervisierte Rahmenwerke, die effektive Ansichten lernen, indem sie gezielt die MI zwischen diesen minimieren. Zudem betrachten wir Datenaugmentation als eine Methode zur Reduktion der MI und zeigen, dass eine verstärkte Datenaugmentation tatsächlich zu einer Verringerung der MI führt und die Genauigkeit bei nachfolgenden Klassifizierungsaufgaben verbessert. Als Nebenprodukt erreichen wir eine neue State-of-the-Art-Genauigkeit beim unsupervisierten Vortrainieren für die ImageNet-Klassifizierung (73 % Top-1-Lineare Auslesung mit einem ResNet-50). Darüber hinaus übertrifft die Übertragung unserer Modelle auf die Objektdetektion im PASCAL VOC und die Instanzsegmentierung im COCO-Kontext deutlich die Ergebnisse von supervisiertem Vortraining. Code: http://github.com/HobbitLong/PyContrast


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Was macht gute Ansichten für das kontrastive Lernen aus? | Paper | HyperAI