Die Verwendung von selbstüberwachtem Lernen kann die Robustheit und Unsicherheit des Modells verbessern.

Selbstüberwachung bietet effektive Darstellungen für nachgelagerte Aufgaben, ohne dass Labels erforderlich sind. Trotzdem fallen bestehende Ansätze hinter vollständig überwachte Trainingsmethoden zurück und werden oft nicht als nützlich darüber hinaus angesehen, die Notwendigkeit von Annotationen zu beseitigen oder zu reduzieren. Wir stellen fest, dass Selbstüberwachung auf verschiedene Weise zur Robustheit beitragen kann, darunter die Robustheit gegenüber feindlichen Angriffen (adversarial examples), Labelverfälschungen und üblichen Eingangsstörungen. Zudem verbessert Selbstüberwachung erheblich die Ausreißererkennung bei schwierigen, nahe am Verteilungsrand liegenden Datenpunkten, so sehr sogar, dass sie die Leistung vollständig überwachter Methoden übertrifft. Diese Ergebnisse zeigen das Potenzial der Selbstüberwachung zur Verbesserung der Robustheit und der Unsicherheitsschätzung und etablieren diese Aufgaben als neue Bewertungsachsen für zukünftige Forschungen im Bereich des selbstüberwachten Lernens.