HyperAIHyperAI

Command Palette

Search for a command to run...

Anpassung von Self-Supervision für überwachtes Lernen

WonJun Moon Ji-Hwan Kim Jae-Pil Heo

Zusammenfassung

Kürzlich wurde gezeigt, dass die Anwendung einer geeigneten Selbstüberwachung ein vielversprechender Ansatz ist, um die Leistung von überwachtem Lernen zu verbessern. Dennoch werden die Vorteile der Selbstüberwachung bisher nicht vollständig ausgeschöpft, da frühere Vorarbeitsszenarien speziell für die ungeüberwachte Darstellungslernung konzipiert waren. Um diesem Problem entgegenzuwirken, stellen wir zunächst drei wünschenswerte Eigenschaften solcher Hilfsaufgaben vor, die die überwachte Zielsetzung unterstützen sollen: Erstens müssen die Aufgaben das Modell dazu anleiten, reichhaltige Merkmale zu lernen. Zweitens sollten die bei der Selbstüberwachung verwendeten Transformationen die Trainingsverteilung nicht signifikant verändern. Drittens sollten die Aufgaben leicht und generisch sein, um eine hohe Anwendbarkeit auf bestehende Ansätze zu gewährleisten. Anschließend zeigen wir, wie bestehende Vorarbeitsszenarien diesen Anforderungen entsprechen und an das überwachte Lernen angepasst werden können, indem wir eine einfache Hilfsaufgabe zur Selbstüberwachung vorschlagen: die Vorhersage lokaliserbarer Rotation (LoRot). Unsere umfassenden Experimente bestätigen die Vorzüge von LoRot als Vorarbeitsszenario, das speziell für das überwachte Lernen optimiert ist, insbesondere hinsichtlich Robustheit und Generalisierungsfähigkeit. Unser Code ist unter https://github.com/wjun0830/Localizable-Rotation verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp