Charakterisierung und Verbesserung der Robustheit des selbstüberwachten Lernens durch Hintergrundverstärkungen

Kürzliche Fortschritte im Bereich des selbstüberwachten Lernens haben vielversprechende Ergebnisse in mehreren visuellen Aufgaben gezeigt. Ein wichtiger Bestandteil hochleistungsfähiger selbstüberwachter Methoden ist die Verwendung von Datenverstärkung, bei der Modelle trainiert werden, unterschiedlich verstärkte Ansichten desselben Bildes in der Einbettungsraum-Nähe zu platzieren. Allerdings behandeln üblicherweise verwendete Verstärkungspipelines Bilder als Ganzes und ignorieren die semantische Relevanz von Teilen eines Bildes – z.B. ein Subjekt gegenüber einem Hintergrund – was zu der Lernung von Nebenkorrelationen führen kann. Unsere Arbeit befasst sich mit diesem Problem, indem sie eine Klasse einfacher, aber hoch effektiver "Hintergrundverstärkungen" untersucht, die Modelle dazu ermutigen, sich auf semantisch relevante Inhalte zu konzentrieren, indem sie ihnen das Fokussieren auf Bildhintergründe erschweren. Durch eine systematische Untersuchung zeigen wir, dass Hintergrundverstärkungen zu erheblichen Leistungssteigerungen bei einer Reihe von state-of-the-art selbstüberwachten Methoden (MoCo-v2, BYOL, SwAV) in verschiedenen Aufgaben führen, z.B. um ~1-2% bei ImageNet und ermöglichen so eine Leistung auf dem Niveau des überwachten Baselines. Darüber hinaus stellen wir fest, dass die Verbesserung in Szenarien mit begrenzten Labels noch größer ist (bis zu 4,2%). Hintergrundverstärkungen verbessern auch die Robustheit gegenüber einer Reihe von Verteilungsverschiebungen, einschließlich natürlichen adversären Beispielen, ImageNet-9, adversären Angriffen und ImageNet-Renditions. Im Prozess der Generierung von Salienzmasken für Hintergrundverstärkungen machen wir auch Fortschritte bei vollständig unüberwachtem Salienzdetektion.