HyperAIHyperAI

Command Palette

Search for a command to run...

Effiziente visuelle Vortrainierung mit kontrastiver Detektion

Olivier J. Hénaff Skanda Koppula Jean-Baptiste Alayrac Aaron van den Oord Oriol Vinyals João Carreira

Zusammenfassung

Selbstüberwachtes Vortrainieren hat sich als äußerst leistungsfähig für Transferlernen erwiesen. Diese Leistungssteigerungen gehen jedoch mit einem erheblichen Rechenaufwand einher, wobei state-of-the-art-Methoden eine um eine Größenordnung höhere Rechenleistung erfordern als überwachtes Vortrainieren. Wir adressieren diese rechnerische Engstelle, indem wir ein neues selbstüberwachtes Ziel einführen, das sogenannte contrastive detection, bei dem die Darstellungen dazu angehalten werden, objektbasierte Merkmale über verschiedene Daten-Augmentierungen hinweg zu erkennen. Dieses Ziel extrahiert pro Bild ein reichhaltiges Lernsignal, was zu state-of-the-art-Transfergenauigkeiten auf einer Vielzahl von Downstream-Aufgaben führt, während bis zu 10-mal weniger Vortrainingszeit erforderlich ist. Insbesondere erreicht unser stärkstes Modell, das auf ImageNet vortrainiert wurde, eine Leistung, die mit SEER, einem der bisher größten selbstüberwachten Systeme, vergleichbar ist – trotz einer Nutzung von 1000-mal weniger Vortrainingsdaten. Schließlich verarbeitet unser Ansatz nahtlos Vortrainieren auf komplexeren Bildern wie jenen aus COCO und schließt die Lücke gegenüber dem überwachten Transferlernen von COCO zu PASCAL.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Effiziente visuelle Vortrainierung mit kontrastiver Detektion | Paper | HyperAI