StyleAdv: Meta-Stil-Adversarial Training für cross-domain Few-Shot Learning

Cross-Domain Few-Shot Learning (CD-FSL) ist eine kürzlich entstandene Aufgabe, die Few-Shot-Lernen über verschiedene Domänen hinweg bearbeitet. Ziel ist es, vorheriges Wissen, das auf einem Quelldatensatz erlernt wurde, auf neuartige Ziel-Datensätze zu übertragen. Die CD-FSL-Aufgabe wird besonders herausfordernd durch den erheblichen Domänenabstand zwischen verschiedenen Datensätzen. Kritisch betrachtet stammt dieser Domänenabstand tatsächlich von Veränderungen visueller Stile ab, und wave-SAN zeigt empirisch, dass die Ausweitung der Stilverteilung des Quelldatensatzes diese Herausforderung lindern kann. Allerdings tauscht wave-SAN lediglich die Stile zweier Bilder aus. Diese einfache Operation führt dazu, dass die generierten Stile „real“ und „leicht“ sind und weiterhin in der ursprünglichen Menge der Quellstile verbleiben. Inspiriert durch die herkömmliche adversarische Lernmethode wird daher ein neuartiges, modellunabhängiges Meta-Stil-Adversarial-Training (StyleAdv) vorgestellt, zusammen mit einer neuen Methode zur Stil-Adversarial-Angriff. Insbesondere synthetisiert unsere Stil-Angriffsmethode sowohl „virtuelle“ als auch „schwierige“ adversarische Stile für das Modelltraining. Dies wird erreicht, indem die ursprünglichen Stile mit signierten Stil-Gradienten gestört werden. Durch kontinuierliche Angriffe auf Stile und die Erzwingung, dass das Modell diese anspruchsvollen adversarischen Stile erkennen muss, wird das Modell schrittweise robuster gegenüber visuellen Stilen, was die Generalisierungsfähigkeit für neuartige Ziel-Datensätze verbessert. Neben dem typischen CNN-basierten Backbone wenden wir unsere StyleAdv-Methode auch auf großskalige, vortrainierte Vision-Transformer an. Umfangreiche Experimente an acht verschiedenen Ziel-Datensätzen belegen die Wirksamkeit unserer Methode. Unabhängig davon, ob auf ResNet oder ViT aufgebaut, erreichen wir jeweils den neuen Stand der Technik für CD-FSL. Der Quellcode ist unter https://github.com/lovelyqian/StyleAdv-CDFSL verfügbar.