Anpassung von Self-Supervision für überwachtes Lernen

Kürzlich wurde gezeigt, dass die Anwendung einer geeigneten Selbstüberwachung ein vielversprechender Ansatz ist, um die Leistung von überwachtem Lernen zu verbessern. Dennoch werden die Vorteile der Selbstüberwachung bisher nicht vollständig ausgeschöpft, da frühere Vorarbeitsszenarien speziell für die ungeüberwachte Darstellungslernung konzipiert waren. Um diesem Problem entgegenzuwirken, stellen wir zunächst drei wünschenswerte Eigenschaften solcher Hilfsaufgaben vor, die die überwachte Zielsetzung unterstützen sollen: Erstens müssen die Aufgaben das Modell dazu anleiten, reichhaltige Merkmale zu lernen. Zweitens sollten die bei der Selbstüberwachung verwendeten Transformationen die Trainingsverteilung nicht signifikant verändern. Drittens sollten die Aufgaben leicht und generisch sein, um eine hohe Anwendbarkeit auf bestehende Ansätze zu gewährleisten. Anschließend zeigen wir, wie bestehende Vorarbeitsszenarien diesen Anforderungen entsprechen und an das überwachte Lernen angepasst werden können, indem wir eine einfache Hilfsaufgabe zur Selbstüberwachung vorschlagen: die Vorhersage lokaliserbarer Rotation (LoRot). Unsere umfassenden Experimente bestätigen die Vorzüge von LoRot als Vorarbeitsszenario, das speziell für das überwachte Lernen optimiert ist, insbesondere hinsichtlich Robustheit und Generalisierungsfähigkeit. Unser Code ist unter https://github.com/wjun0830/Localizable-Rotation verfügbar.